En la novena clase del curso de test a/b trataremos de resolver una duda crucial: ¿Cuándo ha llegado la hora de detener un test y darlo por resuelto?
No es fácil responder a esta pregunta. Habitualmente las aplicaciones de testeo como las que hemos estado viendo en las lecciones pasadas incluyen una alerta que confirma que el resultado del test ya es fiable. Para ello se basan en la significancia estadística.
El problema es que ese parámetro no es el único que debemos tener en cuenta y estas alertas hacen que muchas personas detengan sus test antes de tiempo, interpretando erróneamente los resultados.
No podemos olvidarnos del tamaño de la muestra de usuarios que han realizado el test (y que ya aprendimos a medir en la lección 3. Tampoco deberíamos obviar el tiempo invertido, ni demasiado poco, ni demasiado largo.
En el primer caso podríamos no haber experimentado lo suficiente (ojo al ejemplo tan ilustrativo del vídeo). En el segundo, el test estaría contaminado puesto que la estacionalidad podría haber viciado el resultado.
En el vídeo vamos a detallar todos estos aspectos y descubriremos cómo saber si nuestro test ya está listo para sentencia.
Vemos que muestra de tráfico, tiempo y significancia, son las tres claves que debemos ponderar. Y hay que ser conscientes de que la significancia, la tercera clave, sólo tiene valor para la evaluación después de tener en cuenta las dos primeras. Si no, sufriremos un error como el que hemos visto en el vídeo.
Las calculadoras online son de una gran ayuda técnica en este análisis, tanto la de Evan Miller para el tamaño de la muestra, como la de VWO para la significancia. Para el tiempo de testeo ya vimos las calculadoras más recomendadas en la tercera lección.
Sabemos que identificar el éxito (o el fracaso de una hipótesis) no es un tarea fácil y habrá casos más sencillos de resolver que otros, pero os animamos a comprobar si los test realizados en las tareas de las lecciones pasadas, han cumplida ya vuestras expectativas y podéis darlos ya por resueltos ¿es así?
Si tenéis cualquier duda respecto a la práctica propuesta en esta o en las lecciones anteriores, el servicio de soporte está a vuestra disposición para echaros un cable con lo que necesitéis.
Todos los capítulos de este curso:
- Curso de Test A/B #1. ¿Para qué sirve un test A/B?
- Curso de Test A/B #2. Cómo diseñar un test A/B
- Curso de Test A/B #3. Calculando el tiempo de un test A/B
- Curso de Test A/B #4. Simple Page Tester y Analytics
- Curso de Test A/B #5. Nelio A/B testing
- Curso de Test A/B #6. Google Optimize
- Curso de Test A/B #7. A/B testing for WordPress
- Curso de Test A/B #8. Mailchimp
- Curso de Test A/B #9. Analizando resultados
- Curso de Test A/B #10. Buenas prácticas