En la tercera clase del curso de test a/b aprenderemos a calcular el tiempo que necesitamos dejar en marcha un experimento para elegir la opción vencedora del test.
Cuando ponemos en marcha un test, no siempre es fácil saber cuándo ha llegado el momento de detenerlo. Incluso como paso inicial, tampoco es fácil conocer cuál es el porcentaje de mejora mínima que queremos detectar. Y este último valor es fundamental para estimar el tiempo del experimento.
El tiempo previsto de desarrollo de un test es quizás el factor más determinante para decidir si lo ponemos en marcha o no. Tiempos demasiado largos podrían hacernos pensar que no merece la pena el esfuerzo. Tiempos muy cortos nos pueden empujar a realizar experimentos sencillos aunque su resultado no sea demasiado relevante.
En definitiva, el tiempo de ejecución previsto es un valor fundamental a la hora de iniciar un test. Vamos a ver cómo calcularlo de una manera sencilla, donde solo debemos seguir la fórmula que os indico o usar una calculadora web.
Las herramientas de cálculo que vemos en el vídeo son: La calculadora del efecto mínimo detectable de ABTasty, la calculadora de muestras y duración de test A/B de ABTasty y la calculadora de duración de VWO.
¿Habéis visto cómo se incrementa el tiempo de test con los test multivariante? Por eso es tan importante realizar test sencillos. En algunos casos incluso puede ser práctico generar algo de tráfico artificialmente con campañas de publicidad para acelerar el test.
Debemos tener en cuenta que si hacemos esto, es clave que el tráfico sea del mismo tipo que el que usa habitualmente esa página, porque la tipología del usuario puede afectar al resultado.
Os invito a realizar el cálculo del test que diseñasteis en la lección número 2 y confirméis que el tiempo que necesitareis es lo suficientemente razonable como para justificar el test.
Si no es así, habrá que reiniciar el proceso y diseñar otro experimento. Si por el contrario es un tiempo que nos podamos permitir podemos pasar a construir técnicamente el test.
Pero esto lo veremos en nuestra próxima lección, la número 4, donde estudiaremos nuestro primer plugin para WordPress de desarrollo de tests A/B: Simple Page Tester.
Recuerda que tienes el servicio de soporte a tu disposición para consultar cualquier duda respecto al tiempo previsto o el uso de las fórmulas que hemos aprendido.
Todos los capítulos de este curso:
- Curso de Test A/B #1. ¿Para qué sirve un test A/B?
- Curso de Test A/B #2. Cómo diseñar un test A/B
- Curso de Test A/B #3. Calculando el tiempo de un test A/B
- Curso de Test A/B #4. Simple Page Tester y Analytics
- Curso de Test A/B #5. Nelio A/B testing
- Curso de Test A/B #6. Google Optimize
- Curso de Test A/B #7. A/B testing for WordPress
- Curso de Test A/B #8. Mailchimp
- Curso de Test A/B #9. Analizando resultados
- Curso de Test A/B #10. Buenas prácticas