Recuerdas tu primera Pruebas A / B ¿Correo electrónico? Recuerdo. Me sentí ansioso y asustado al mismo tiempo. Ahora tenía que poner en práctica lo que había aprendido en la universidad.
Sabía que necesitaba un tamaño de muestra lo suficientemente grande para ejecutar la prueba de correo electrónico. Sabía que necesitaba probar el tiempo suficiente para obtener resultados estadísticamente significativos.
No estaba seguro de qué tan grande era la muestra de correo electrónico "suficientemente grande" y cuál era el "suficientemente largo" para la duración del cheque.
Busca en Google me dio muchas respuestas.
Resulta que no estaba solo: estas son las dos preguntas más frecuentes. A / B pruebas que recibimos de los clientes. Y la razón por la que las típicas respuestas de búsqueda de Google no son tan útiles es porque hablan de las pruebas A / B en un mundo perfecto, teórico y sin marketing.
Entonces, decidí investigar un poco para ayudarlo a responder esta pregunta en la práctica. Al final de esta publicación, podrá aprender cómo determinar el tamaño de muestra correcto y el cronograma para el próximo envío de correo electrónico.
Содержание | Быстрая навигация
Teoría versus realidad del tamaño de la muestra y el tiempo en pruebas A / B.
En teoría, para determinar el ganador entre la Variación A y la Variación B, debe esperar hasta obtener suficientes resultados. De esta manera puede ver si hay una diferencia estadísticamente significativa entre los dos.
Dependiendo de su empresa, el tamaño de la muestra y cómo realice las pruebas A / B, pueden producirse resultados estadísticamente significativos en horas, días o semanas. Solo tienes que publicarlo hasta que obtengas estos resultados. En teoría, no debería limitar el tiempo de recopilación de resultados.
Para muchas pruebas A / B, esperar no es un problema. ¿Está probando una copia de encabezado en una página de destino? Es genial esperar un mes para ver los resultados.
Pero en el correo electrónico, esperar puede ser un problema, por varias razones prácticas.
Cada correo electrónico tiene una audiencia limitada.
A diferencia de una página de destino, donde puede seguir recopilando nuevos miembros de la audiencia a lo largo del tiempo, una vez que envíe un correo electrónico de prueba A / B, eso es todo. No puede agregar más personas a esta prueba A / B.
Necesita descubrir cómo sacar el máximo partido a sus correos electrónicos.
Esto generalmente requiere:
- envíe una prueba A / B a la parte más pequeña de su lista necesaria para obtener resultados estadísticamente significativos,
- elige un ganador,
- envíe la opción ganadora al resto de la lista de correo electrónico.
Manipula al menos algunos correos electrónicos a la semana.
Si pasa demasiado tiempo recopilando resultados, puede omitir el envío de su próximo correo electrónico. Esto puede tener peores consecuencias que enviar un correo electrónico de ganador no significativo estadísticamente a un segmento de su base de datos.
El envío de correo electrónico a menudo tiene un tiempo.
Sus correos electrónicos de marketing están optimizados para su entrega en momentos específicos del día, ya sea que sus correos electrónicos se mantengan al día con el momento del lanzamiento de una nueva campaña o que lleguen a la bandeja de entrada de su destinatario en el momento en que les gustaría recibirlo.
Si espera hasta que su correo electrónico sea completamente significativo desde el punto de vista estadístico, es posible que se esté perdiendo la oportunidad y la relevancia, lo que podría dañar el propósito de enviar su correo electrónico en primer lugar.
Esta es la razón por la que los programas de prueba de correo electrónico A / B tienen una opción de "sincronización" incorporada. Al final de este período de tiempo, si ninguno de los resultados es estadísticamente significativo, una opción que elija de antemano se enviará al resto de la lista.
De esta manera, aún puede ejecutar pruebas A / B en el correo electrónico. También puede evitar los requisitos de planificación de marketing por correo electrónico y asegurarse de que las personas siempre reciban contenido oportuno.
Por lo tanto, para realizar pruebas A / B en el correo electrónico mientras optimiza sus envíos para obtener los mejores resultados, debe tener en cuenta tanto el tamaño de la muestra como el tiempo.
Cómo determinar el tamaño de la muestra y el cronograma de pruebas Boletín electrónico?
Ok, ahora pasemos a la parte que estabas esperando:
¿Cómo calcula realmente el tamaño de la muestra y el tiempo necesario para su próxima prueba A / B electrónica?
Como mencioné anteriormente, cada prueba A / B por correo electrónico solo se puede enviar a una audiencia limitada, por lo que debe averiguar cómo maximizar sus resultados.
Para hacer esto, necesita determinar la parte más pequeña de su lista total necesaria para obtener resultados estadísticamente significativos. Así es como se calcula.
Evalúe si tiene suficientes contactos de correo electrónico en su lista.
Para realizar una prueba A / B de una muestra de su lista, debe tener un tamaño de lista lo suficientemente grande, al menos 1000 contactos. Si hay menos de ellos, la proporción de su lista requerida para una prueba A / B para obtener resultados estadísticamente significativos aumenta cada vez más.
Por ejemplo, para obtener resultados estadísticamente significativos de una lista pequeña, es posible que deba verificar el 85% o 95% de su lista. Y los resultados para aquellas personas en su lista que aún no se han probado serán tan pequeños que podría enviar la mitad de su lista con una versión de correo electrónico y la otra mitad con otra, y luego medir la diferencia.
Es posible que sus resultados no sean estadísticamente significativos al final de todo, pero al menos está acumulando conocimientos a medida que amplía sus listas para tener más de 1000 contactos.
Usa una calculadora.
Así es como se ve la calculadora cuando la abres:
Ingrese el nivel de confianza, el intervalo de confianza y la población en el instrumento.
Población: Su muestra representa a un gran grupo de personas. Se llama su población.
En el correo electrónico, su población es la cantidad de personas en su lista que pueden recibir correos electrónicos. No es la cantidad de personas a las que envió correos electrónicos.
Para calcular la población, miraría los últimos tres a cinco correos electrónicos que envió a esta lista y promediaría el número total de correos electrónicos entregados.
Utilice un promedio al calcular el tamaño de la muestra, ya que la cantidad total de correos electrónicos entregados fluctuará.
Intervalo de confianza: Es posible que haya escuchado que esto se llama "margen de error". Muchas encuestas utilizan esto, incluidas las encuestas políticas. Este es el rango de resultados que puede esperar de esta prueba A / B cuando se realiza con la población completa.
Por ejemplo, si tiene un intervalo de 5 y 60% de su muestra de control, puede estar seguro de que en el intervalo 55%, es decir, 60 menos 5, a 65%, 60 más 5, este correo electrónico también se abrió.
Cuanto mayor sea el intervalo que elija, más seguro podrá estar de que las verdaderas acciones de la población se han tenido en cuenta en ese intervalo. Al mismo tiempo, los intervalos más largos le darán resultados menos definidos. Este es el compromiso que debe hacer en sus correos electrónicos.
Para nuestros propósitos, no se deje llevar por los intervalos de confianza. Cuando esté comenzando con las pruebas A / B, le recomendaría elegir un intervalo más pequeño, por ejemplo, alrededor de 5.
Nivel fiabilidad. Esto indica qué tan seguro está de que los resultados de la muestra se encuentran dentro del intervalo de confianza anterior. Cuanto menor sea el porcentaje, menos confianza tendrá en los resultados. Cuanto mayor sea el porcentaje, más personas necesitará en su muestra.
Ejemplo:
Supongamos que estamos enviando nuestra primera prueba A / B. Tenemos 1,000 personas en nuestra lista y la tasa de entrega es 95%. Queremos estar en 95% seguros de que nuestras métricas de correo electrónico ganadoras están dentro del intervalo de 5 puntos de nuestras métricas de población.
Esto es lo que hemos agregado a la herramienta:
- Población : 950 personas;
- Nivel de confianza : 95%;
- Intervalo de confianza : 5.
Haga clic en Calcular.
¡TA-dah! La calculadora establecerá el tamaño de su muestra. En nuestro ejemplo, nuestro tamaño de muestra es 274.
Este es el tamaño de una de sus opciones. Entonces, para enviar correo electrónico, si tiene un control y una opción, necesita duplicar ese número. Si tuviera un control y dos opciones, lo triplicaría. Y así.
Dependiendo de su programa de correo electrónico, es posible que deba calcular el porcentaje de tamaño de muestra para todos los correos electrónicos.
Clientes de HubSpot, cuando realizan pruebas A / B por correo electrónico, deben elegir el porcentaje de contactos a los que enviar la lista, no solo el tamaño de la muestra.
Para hacer esto, necesita dividir el número en su muestra por el número total de contactos en su lista. Así es como se ven las matemáticas usando los ejemplos anteriores:
274/1000 = 27,4%
Esto significa que cada muestra y su control y su variación deben enviarse 27-28% a su audiencia. En otras palabras, aproximadamente el 55% de su lista total.
¡Y es todo! Debe estar preparado para elegir un tiempo de envío.
¿Cómo elegir el momento adecuado para su prueba A / B?
Entonces aquí es donde entramos en la realidad del envío de correo electrónico. Debe averiguar cuánto tiempo debe completar su prueba de correo electrónico A / B antes de enviar la versión ganadora al resto de su lista.
El aspecto de la sincronización está un poco menos impulsado estadísticamente. Pero definitivamente deberías usar datos pasados. Esto le ayudará a tomar mejores decisiones. Así es como puede hacerlo.
Analítica.
Descubra cuándo comienzan a disminuir los clics, las aperturas de correo electrónico u otras tasas de éxito. Mire sus correos electrónicos anteriores para averiguarlo.
Por ejemplo, ¿qué porcentaje del número total de clics obtuvo el primer día? Si descubre que obtiene 70% de sus clics en las primeras 24 horas, y luego 5% todos los días después de eso, tiene sentido limitar su ventana de verificación de correo electrónico a 24 horas.
En este escenario, probablemente desee dejar su ventana de tiempo en 24 horas. Después de 24 horas, su programa de correo electrónico debería informarle si pueden determinar un ganador estadísticamente significativo.
Entonces depende de usted qué hacer a continuación. Si tiene un tamaño de muestra lo suficientemente grande y encuentra un ganador estadísticamente significativo al final del período de prueba, muchos programas de marketing por correo electrónico enviarán automática e inmediatamente la opción ganadora.
Si el tamaño de su muestra es lo suficientemente grande y no hay un ganador estadísticamente significativo después del período de prueba, las herramientas de marketing por correo electrónico también pueden permitirle enviar automáticamente una variación de su elección.
Si tiene un tamaño de muestra más pequeño o está haciendo una prueba 50/50 A / B, usted decide cuándo enviar el siguiente correo electrónico en función de los resultados del correo electrónico original.
Si tiene límites de tiempo sobre cuándo enviar el correo electrónico ganador al resto de la lista, averigüe qué tan tarde puede enviar al ganador. Si no está desactualizado o no afecta a otros correos electrónicos, envíelo lo más tarde posible.
Por ejemplo, si envió un correo electrónico a las 6:00 pm ET para una venta urgente que finaliza a la medianoche ET, es posible que no desee determinar el ganador de la prueba A / B a las 11:00 pm. En su lugar, desea enviar el correo electrónico más cerca de las 8 o 9 pm. Esto le dará a las personas que no participan en las pruebas A / B el tiempo suficiente para actuar por correo electrónico.
Y eso es todo, chicos. Después de realizar estos cálculos y examinar sus datos, debería estar mucho mejor equipado para enviar pruebas A / B por correo electrónico. Son estadísticamente lo suficientemente importantes como para ayudarlo a lograr un progreso real en el marketing por correo electrónico.
Basado en materiales del sitio: https://blog.hubspot.com.
❤️ ¿De qué otra manera puede probar el correo electrónico?
Las pruebas A / B consisten en enviar múltiples líneas de asunto para comprobar cuál genera más vacantes. Las pruebas A / B más sofisticadas pueden probar plantillas de correo electrónico completamente diferentes entre sí para ver cuál genera la mayor cantidad de clics.
⏩ ¿Qué tan detallado puede consultar su correo electrónico?
Se pueden probar todos los elementos de correo.
❤️ ¿Qué buscar al revisar el texto de los correos?
Sobre la extensión de los textos, el orden de las palabras, el contenido, la presencia de un llamamiento al destinatario por su nombre o su ausencia, el estilo y tono de los textos, etc.
⏩ ¿Cómo elegir tipos de pruebas para correo electrónico?
Defina metas y considere opciones de prueba para lograrlas. Elija el más conveniente y eficiente para usted.
⏩ ¿Cuándo no debería utilizar una prueba A / B?
4 razones para no realizar la prueba.
Si aún no hay tráfico significativo.
Si no hay una teoría válida.
Si el riesgo de acción inmediata es bajo.
Cuando es imposible garantizar la seguridad de las pruebas.
⏩ ¿Cuál es uno de los errores comunes al realizar pruebas A / B?
Uno de los errores comunes en las pruebas A / B es realizar una prueba dividida demasiado pronto. Por ejemplo, si está lanzando una nueva campaña de OptinMonster, debe esperar un poco mientras los datos están disponibles para crear la línea de base.
⏩ ¿Cómo hacer una prueba A / B en Excel?
Cálculo estadístico de la potencia del resultado de la prueba A / B en Excel.
Elija si la prueba es de 1 cola o de 2 colas (en la mayoría de los casos, si ejecuta pruebas A / B con las principales herramientas disponibles en el mercado, esta debe ser de 2 colas).
Seleccione el nivel de confianza (90% / 95% / 99%).
Agregue números de visitantes para control y variación.
