Prueba A / B: ¿cómo calcular la significancia estadística de los resultados?

Haciendo Prueba A / B¿Se ha preguntado alguna vez si los resultados son estadísticamente significativos?

Como especialistas en marketing, no solo se nos pide que midamos los resultados de nuestras campañas, sino que también demostremos la credibilidad de los resultados.

¿Cómo calcular la significación estadística?

• Determina lo que quieres probar.
• Define tu hipótesis.
• Empiece a recopilar sus datos.

Ejemplo practico. Cada uno de los dos especialistas en marketing creó una versión de la página de destino. Usaron la funcionalidad de su A / B Prueba de HubSpot para recopilar resultados. Tenían una apuesta amistosa para ganar.

Después de unos días, tuvieron resultados. Uno tenía una tasa de conversión ligeramente más alta. Se preguntaron si los resultados eran estadísticamente significativos. 

Hay una serie de herramientas gratuitas disponibles para calcular la significación estadística. Para comprender verdaderamente lo que dicen estas herramientas, es útil estudiarlas. Especialmente lo que cuentan y lo que significa. Le proporcionaremos un ejemplo específico para ayudarlo a comprender la importancia estadística.

1. Determina lo que quieres probar.

Primero, decida qué quiere probar. Esto podría ser una comparación:

• tasas de conversión en dos páginas de destino con imágenes diferentes;
• tasas de conversión para correo electrónico con diferentes líneas de asunto;
• tasas de conversión para diferentes botones de llamada a la acción al final de la publicación del blog. La cantidad de opciones para elegir es infinita.

Seleccione el contenido para el que desea crear dos variaciones diferentes. Primero, decida si su objetivo es una mejor tasa de conversión o más vistas.

Por supuesto, puede probar variaciones adicionales o incluso crear una prueba multidimensional. Para los propósitos de este ejemplo, nos quedaremos con dos opciones de página de destino. Esto aumentará su tasa de conversión. 

2. Defina su hipótesis.

Antes de comenzar a recopilar datos, me parece útil enunciar mi hipótesis al comienzo de la prueba. También necesito determinar el grado de confiabilidad que quiero verificar. 

Estoy probando una página de destino y quiero ver si mejora. Mi hipótesis: existe una relación entre la página de destino que obtienen los visitantes y su tasa de conversión.

3. Empiece a recopilar sus datos.

Ahora que ha determinado lo que desea verificar, es hora de comenzar a recopilar sus datos. 

Lo más probable es que realice esta prueba para determinar qué contenido es mejor para usar en el futuro. Debe elegir un tamaño de muestra. Para una página de destino, esto podría significar elegir un momento específico para ejecutar una prueba. Por ejemplo, activando su página dentro de los 3 días.

Para algo como un correo electrónico, puede elegir una muestra aleatoria de su lista. Las variaciones de su correo electrónico se enviarán de forma espontánea.

Determinar el tamaño de muestra correcto puede resultar difícil. Variará según cada prueba. 

Como regla general, desea que el valor esperado para cada variación sea mayor que 5.

Veremos los valores esperados a continuación.

4. Calcule los resultados de chi-cuadrado.

Hay varias pruebas estadísticas diferentes que puede ejecutar. Esto medirá la importancia en función de sus datos. ¿Qué es lo mejor para usar? Depende de lo que esté intentando comprobar y del tipo de datos que esté recopilando. 

En la mayoría de los casos, utilizará la prueba de chi-cuadrado porque los datos son discretos.

La forma discreta dice que hay un número finito de resultados que se pueden obtener. Por ejemplo, un visitante convertirá o no convertirá. No hay diferentes tasas de conversión para un visitante.

Puede realizar la prueba en función de distintos grados de confianza. A veces se le llama prueba alfa. Si desea que el requisito de significancia estadística sea alto, alfa debe ser bajo. Es posible que haya visto una importancia estadística en términos de confiabilidad.

Por ejemplo, los resultados obtenidos son estadísticamente significativos con un nivel de confianza de 95%. En este escenario, el alfa fue de 0,05. La confianza se calcula como 1 menos alfa. Esto significa que la probabilidad de equivocarse en la relación establecida es de 1 en 20.

Después de recopilar los datos, los coloco en un diagrama para que sea más fácil organizarlos. Estoy probando 2 opciones diferentes A y B. Hay 2 resultados posibles, convertidos, no convertidos, tendré un gráfico de 2 × 2. Sumaré cada columna y fila para poder ver fácilmente los resultados en conjunto.

5. Calcule sus valores esperados.

Ahora calcularé los valores esperados. En el ejemplo anterior, esperaríamos ver las mismas tasas de conversión con ambas versiones. Esto es en caso de que no haya conexión entre lo que vieron los visitantes de la página de destino y su tasa de conversión.1945 de 4.935 visitantes resultaron estar convirtiendo. Eso es aproximadamente 39% visitantes.

Debe calcular las frecuencias esperadas para cada versión de la página de destino, asumiendo que no hay diferencia. Podemos: multiplicar el número de filas de esta celda por el número de columnas de esta celda y dividirlo por el número de visitantes. En este ejemplo, debe encontrar el valor de conversión esperado en la versión A. Usaría la siguiente ecuación: (1945 * 2401) / 4935 = 946.

6. Vea en qué se diferencian sus resultados de los que esperaba.

Para calcular el chi-cuadrado, comparo las frecuencias observadas con las frecuencias esperadas. 

Esta comparación se hace así:

• resta lo observado de lo esperado,
• cuadró el resultado,
• el resultado se divide por la frecuencia esperada.

Estoy tratando de entender en qué se diferencian mis resultados reales de lo que podemos esperar. Cuadrar la diferencia amplifica el efecto de la diferencia y dividir por lo esperado normaliza los resultados. La ecuación se ve así: (esperado - observado) ^ 2) / esperado.

7. Encuentre su monto.

Luego agrego los cuatro resultados para obtener el número de chi-cuadrado. En este caso, es 0,95. Necesito ver si las tasas de conversión de mis páginas de destino difieren de la significación estadística. Comparo esto con el valor de la tabla de distribución chi-cuadrado. Se basa en mi alfa, en este caso 0.05, y grados de libertad.

El grado de libertad depende de la cantidad de variables que tenga. Con una tabla de 2 × 2 como en este ejemplo, el grado de libertad es 1. 

En este caso, el valor de chi-cuadrado debe ser igual o superior a 3,84. Entonces los resultados serán estadísticamente significativos. Dado que 0,95 es menos de 3,84, mis resultados no son estadísticamente diferentes. No existe una relación entre la versión de la página de destino que recibe un visitante y la tasa de conversión con significación estadística.

¿Por qué es importante la significación estadística?

¿Por qué es esto importante si puede usar una herramienta gratuita para hacer los cálculos?

Al comprender cómo se calcula la significación estadística, determinará la mejor manera de probar los resultados de sus propios experimentos.

Muchos instrumentos utilizan el nivel de confianza 95%. Para sus experimentos, puede tener sentido utilizar un nivel de confianza más bajo. Este es el caso a menos que desee que la prueba sea más estricta.

Comprender los cálculos básicos le ayudará a explicar a quienes no estén familiarizados con las estadísticas por qué sus resultados son importantes.

Basado en materiales del sitio: https://blog.hubspot.com.

❤️ ¿Cuándo será la prueba estadísticamente significativa, en términos generales?

Si hay muy pocas posibilidades de que el resultado haya ocurrido por accidente.

❤️ ¿Por qué es especialmente importante calcular la significancia estadística?

Para excluir hipótesis poco prometedoras.

⏩ ¿Cuál es el nivel de significancia?

Ésta es la probabilidad de rechazar la hipótesis nula cuando es correcta.

⏩ ¿Cuál es la influencia del valor p?

Cuanto menor sea el valor p, mayor será la confianza en que se puede rechazar la hipótesis nula.

⏩ ¿Cómo calcular la significación estadística?

Comience mirando el lado izquierdo de sus grados de libertad y encuentre su variación. Luego sube para ver los valores p. Compare el valor p con el nivel de significancia, o más bien el alfa. Recuerde que un valor p menor que 0.05 se considera estadísticamente significativo.

⏩ ¿Cómo determinar resultados estadísticamente significativos?

Para hacer una prueba Z, busque la puntuación Z para su prueba o estudio y conviértala en un valor P. Si su valor P está por debajo del nivel de significancia, puede concluir que el resultado es estadísticamente significativo.

⏩ ¿Qué es el valor p en estadística?

En estadística, un valor p es la probabilidad de obtener resultados que son al menos tan extremos como los resultados observados de una prueba de hipótesis estadística, siempre que la hipótesis nula sea correcta. Un valor p más pequeño significa que hay pruebas más sólidas para la hipótesis alternativa.