Ahora que se está poniendo de moda el testing (por fin), como en todo al empezar se cometen errores de principiante. El primero de ellos es hacer test basados en buenas prácticas, aquí no me voy a meter porque son test que al fin y al cabo funcionan (aunque solo sean en el 10% de las ocasiones). Y aunque no es mi manera de trabajar como vais a ver en el artículo, prefiero que si vais a empezar en esto, mejor hace algo que nada. Más adelante ya aprenderéis a analizar datos antes de hacer un testing (pero esto no se aprende de la noche a la mañana).
Lo que sí que podéis aprender desde hoy mismo es a entender y aplicar el concepto de inferencia y, sin esto bien entendido, todos los test que hagáis y cuando digo todos es TODOS, no servirán para nada. Es igual que sean test basados en datos previos o en buenas prácticas.
inference
ˈɪnf(ə)r(ə)ns
noun
- 1.
a conclusion reached on the basis of evidence and reasoning.
“researchers are entrusted with drawing inferences from the data”
Ampliando la definición anterior, un poco más formal y según la wikipedia, la inferencia sería el proceso de obtener conclusiones lógicas a partir de premisas conocidas o asumidas para ser verdad.
Y en el testing la inferencia sería el aprendizaje final después del todo el proceso de mejora de conversión, sin el cual no se puede avanzar.
Es decir, se trata de intentar de determinar el ‘por qué’ del resultado de un test, ya sea ganador o perdedor. Yo siempre digo que se aprende más de un test perdedor que de un test ganador, ya que el testing va de esto, de ganar o de aprender pero nunca de perder (¡como en la vida misma!).
Muy bonito todo esto que cuentas Natzir… pero ahora ponme un ejemplo como siempre.
Ejemplo de inferencia aplicada a uno de mis últimos casos de éxito CRO
Sitio web cuyo modelo de negocio es vender leads. La conversión que quieren mejorar es la de conseguir más leads desde la categoría de producto sin tener que pasar por ficha (en los siguientes test ya se mejorará la conversión desde la ficha).
Empiezo a analizar comportamientos de usuarios mobile frente a usuarios pc, tanto navegaciones, como heatmaps, etc. Antes observo qué tipo de información se está mostrando en cada tipo de dispositivo de qué manera para descartar posibles errores funcionales, accesibles y de usabilidad.
Detecto que los usuarios mobile tienen navegaciones más cortas y orientadas a la acción. No tienen tiempo en consumir información y de hecho, en la categoría vista desde mobile se muestra mucho menos información que desde PC, con lo cual los usuarios mobile no quieren perder el tiempo entrando en fichas y se van. Esto me da una idea de test y desarrollo la hipótesis:
“Haciendo una llamada a la acción menos transaccional y más informativa los usuarios convertirán más desde categoría porque necesitan información que solo existe en la ficha.”Se crean 3 variaciones de call to action para el test: 2 informativas y una transaccional persuasiva para testear contra la de control que es puramente transaccional. Se lanza el test contra todos los usuarios. La variación 1 es informativa, 2 es transaccional persuasiva y la 3 es más informativa.
Resultados del test para todos los usuarios:
Según estos resultados tenemos que la variación #3, la más informativa, es la que gana para todos los usuarios con un + 83,5 % de mejora de la conversión. Con lo cual podríamos dejar esto así, colgarnos la medalla e irnos para casa. ¡Pues NO! ¿Os acordáis de lo que os he dicho de la inferencia? entonces lo que nos falta explicar el por qué de esto. Para ello y gracias a que he hecho un test con hipótesis previa ahora tengo que rechazarla o no rechazarla ¿por qué? Ahora lo veréis.
Según el lema de Neyman – Pearson no puedo decir nunca que mi hipótesis es válida, tengo que decir que no se rechaza la hipótesis. Es decir, no puedo decir que un copy más informacional mejore las conversiones en categoría de producto siempre, porque no puedo asumir que esto siempre sea así aunque tengamos significancia estadística, porque estoy trabajando con una porción de la realidad (algo que nos permite la probabilidad).
Entonces para que la veracidad de mi inferencia sea más pura he de acotar los universos. Entre tu y yo, he de segmentar 
Una de las razones porque decidí hacer este test fue gracias a la observación del comportamiento de los usuarios mobile.
Veamos ahora los resultados de este test para usuarios móviles:
BUMM! +183,7% de mejora de conversión!
Y ahora solo usuarios de PC:
UPS! De momento no hay ganador en usuarios PC, tendremos que esperar. Aunque haya mejoría, de momento no puedo asegurar que este call to action funcione mejor en PC.
Conclusiones
¿Ahora qué hemos aprendido de este test? Hemos demostrado que la hipótesis no se rechaza en móvil y que si hubiera aplicado la versión que me dicta como ganadora la herramienta sin haber segmentado, la conversión no habría mejorado todo lo que podría hacerlo. Ahora cuando acabe finalmente el test en PC, puedo sacar más conclusiones y seguir proponiendo mejoras que de otra manera no se habrían llevado a cabo. Todo gracias a que he aprendido qué tipo de información necesita cada tipología de usuario en el proceso de buscar la inferencia.
Ahora quizás entenderéis el pequeño inciso que he hecho al principio sobre los test basados en buenas prácticas vs basados en datos. Si queréis hacer un test ganador y con una inferencia sólida, la hipótesis tiene que ser sólida y esto sólo se consigue con test basados en datos y con un método científico.
Problema – > Observación – > Hipótesis – > Experimento – > Inferencia
En resumen, buscando la inferencia es cuando realmente mejoras y sin ella tu test no vale nada.