El botón verde
Hablé hace dos semanas con Adri y Fátima de Thoughtworks sobre la cultura de experimentación que tenemos en Clevergy. En comparación con otras entrevistas, abordamos con profundidad cómo en Clevergy experimentamos en el día a día para poder ayudar a cientos de miles de personas a ahorrar energía y a contribuir a la transición energética del país.
Los equipos de desarrollo utilizan la experimentación para validar hipótesis inciertas. Es un recurso que nos permite cerciorarnos de que los usuarios entenderán la nueva funcionalidad tal y como la concebimos.
Cuando realizamos experimentos, el objetivo principal es el de aprender certezas que desconocemos. El hecho de que sean certezas desconocidas implica que es muy probable que nos equivoquemos al formularlas.
Formular un experimento tiene tres partes:
Formulación de una hipótesis
Una hipótesis recoge aquella certeza desconocida de la que hablamos. Si se cumplen una serie de condiciones, el usuario se comportará de esta forma. Dado que no conocemos ese comportamiento, el resultado de la hipótesis no se puede extrapolar del comportamiento del usuario en nuestro producto. Por eso hacemos un experimento, queremos comprobar, que si cambiamos el contexto (nuestro producto), el usuario se comportará como nosotros queremos (más visitas, más compras, más recomendaciones, menos bajas, …).
Ejecución el experimento
Si estamos creando un experimento, significa que no tenemos suficientes certezas para implementar la funcionalidad al completo y que queremos asegurarnos de que, si finalmente la desarrollásemos, el usuario cambiaría al comportamiento reflejado en la hipótesis del experimento. A la hora de ejecutar el experimento es importante que lo instrumentemos bien para poder obtener conclusiones sin ambigüedades, que nos permitan tomar una decisión.
Análisis del resultado y obtención de conclusiones
Una vez obtenidos los datos, sólo falta realizar la acción más importante del experimento: aprender. Esta es la parte más complicada de todo el proceso de experimentación. Parece sencillo, si los datos validan la hipótesis tenía razón y entonces puedo desarrollar la funcionalidad y si no lo validan, indica que me equivoqué.
El experimento del botón verde
Vamos a ver con un ejemplo por qué surgen tantos problemas a la hora de experimentar. Jorge nuestro PM tiene que mejorar el flujo del registro. Examina los números y se da cuenta de que la mayor caída del funnel se produce en el primer paso. En el botón de “regístrate”.
Jorge abre la página web del producto y repasa el contenido:
Problema del cliente
Propuesta de la solución
Precios y condiciones
Botón de “regístrate”
El 86% de la gente llega al botón, por lo que Jorge concluye que no es un problema con la página, si no con el dichoso botón.
Claramente el botón podía ser más vistoso. Jorge decide crear un experimento para validar la oportunidad.
Hipótesis: cambiando el color a verde, los usuarios se registrarán más.
Experimento: dirigir un 5% del tráfico a una versión de la página que muestre el botón verde.
Resultados: el número de registros se mantiene constante.
Analicemos qué cosas ha planteado mal Jorge.
La hipótesis, no se centra en el contexto del usuario. ¿Por qué el usuario no está pinchando el botón? Al no partir de un contexto de usuario, todo el trabajo a continuación pierde mucha información.
El experimento se centra en validar si el color verde es un buen desarrollo, no en validar la hipótesis. Jorge tendría que haber hecho varias pruebas en paralelo para reafirmar la conclusión. El botón más grande, la palabra, distintos colores, … Al centrar todo su experimento en un único color, Jorge perdió la oportunidad de aprender qué es lo que buscaba su usuario realmente.
Aquí salen a la luz algunos de los problemas que ya hemos destacado antes. Si no cambia el comportamiento del usuario, ¿qué quiere decir? ¿Es verde bueno o malo? No ha mejorado, pero tampoco ha empeorado.
A la hora de analizar los resultados pueden pasar tres cosas:
El experimento se comportó exactamente como definiste en la hipótesis, si cambio el color a verde hay más registros. En este caso confirmas algo que ya sospechabas. Tiene valor, pero limitado.
El experimento se comportó completamente al contrarío de como lo definiste en la hipótesis, si cambio el color a verde el número de registros bajó. En este caso aprendemos algo más importante. Estamos equivocados y mucho. Esto nos permite poder tomar otros caminos para resolver el problema que tenemos delante.
El experimento no impactó el comportamiento del usuario. Este es el caso más complicado de analizar y de aprovechar. Que el comportamiento del usuario no cambie se puede deber, a que la hipótesis esté mal formulada o a que el experimento esté mal formulado. Un buen experimento te puede dar luz, cuando los resultados son insulsos.
La entrevista fue en torno a las claves que aplicamos en Clevergy a la hora de hacer trabajo de experimentación. Algunos de los mensajes clave del capítulo son:
Los errores son parte del proceso de experimentación
La cultura de experimentación tiene que ser entendida y compartida por todo el equipo
Los experimentos no tienen por qué ser pruebas A/B caras, una entrevista con clientes muchas veces es suficiente
Establecer métricas específicas para evaluar el éxito de los experimentos es complejo de dominar
Es necesario tener un. roadmap de producto que sea flexible y esté abierto a cambios basados en el aprendizaje continuo
Puedes escuchar el podcast en Apple Podcast
ó Spotify: