Búsqueda
Cerrar este cuadro de búsqueda.
Búsqueda
Cerrar este cuadro de búsqueda.

Pruebas bayesianas A / B.

Bayesian AB testing un enfoque más calculador para la verificación de versiones

Comparte en las redes sociales

Por qué estás corriendo Pruebas A / B?

Es simple: vea qué versión obtiene la mayor respuesta de la audiencia.

Hasta hace poco, pensaba que solo había un tipo A / B prueba. Luego conocí otra versión. Esta método se llama prueba Bayesiana A / B, y si desea un enfoque táctico más específico para las pruebas de anuncios, esta podría ser la respuesta.

Todavía incluye verificación de variaciones para identificar las preferencias de la audiencia, pero requiere más cálculo y prueba y error. Pero primero, hablemos de cómo las pruebas Bayesianas A / B se diferencian de las pruebas A / B tradicionales. pruebas divididas.






Pruebas A / B tradicionales.

Frequentist es un método estándar de prueba dividida que solo usa datos del experimento actual.

Todo el mundo Prueba A / B tiene el mismo número de componentes. Usan datos basados en una métrica que identifica las opciones A y B. Por ejemplo, una métrica podría ser la cantidad de clics en un anuncio. Para determinar el ganador, este indicador se mide estadísticamente.

Apliquemos esto a un ejemplo usando un enfoque tradicional o basado en frecuencia. En este script, creará dos declaraciones y cambiará una variable, como una copia de la declaración. Luego, seleccione una métrica, como la cantidad de clics en anuncios.

En este ejemplo, el ganador de la prueba A / B de usuario frecuente será qué anuncio hizo más clic en su público objetivo, basándose únicamente en los resultados de este experimento.

Si tuviera que ilustrar estos componentes en una prueba Bayesiana A / B, abordaría la prueba utilizando diferentes datos.

¿Qué es una prueba bayesiana A / B?

El enfoque bayesiano toma información recopilada de experimentos anteriores similares, la combina con datos actuales y llega a una conclusión.

Básicamente, usaría la inferencia de experimentos bayesianos anteriores como una opción para una nueva prueba. Este tipo de validación utiliza prueba y error para crear pruebas continuas hasta que encuentre estadísticas para respaldar los resultados deseados.

prueba ab bayesiana

Esta definición puede parecer un poco difícil de visualizar sin un ejemplo, así que echémosle un vistazo.

Si su anuncio de Facebook anterior tuvo 867 visitantes únicos y 360 conversiones para una tasa de conversión de 41%, usaría esos datos para decirle lo que esperaba.

Si asumiera que su próximo anuncio de Facebook alcanzó los 5,000 visitantes únicos, podría concluir que, según su experiencia anterior, obtendría 2,050 conversiones. Esta será la opción "A".

Digamos que estás viendo el rendimiento de un anuncio de Facebook similar y terminas con una tasa de conversión de 52%. Esta es la opción "B". 

Lo que hizo al recopilar los datos de las dos opciones fue calcular la distribución posterior, y las pruebas anteriores que ejecutó ahora son la base para su prueba bayesiana.

Si tenía conclusiones sobre las tasas de conversión de cada variable antes de calcular la distribución posterior, ahora puede actualizarlas en función de los datos recopilados.

Puede hacer preguntas hipotéticas sobre su prueba, como "¿Qué probabilidad hay de que" B "sea mayor que la opción" A "?" En este caso, puede concluir que la respuesta a esta pregunta es 9%.

Entonces comienza un poco de prueba y error.

La metodología bayesiana toma decisiones extrayendo algunas conclusiones. Puede calcular la pérdida esperada por la tasa de disminución en su métrica cuando selecciona cualquier variable. 

Establezca un borde, por ejemplo 2%, para que la métrica sea más baja. Una vez que haya recopilado suficientes datos para confirmar que una variante ha caído por debajo de 2%, tendrá un ganador de la prueba.

Su pérdida estimada para una variación es el promedio de lo que disminuirá su métrica si elige esa variación. El borde debe ser lo suficientemente pequeño. Esto es necesario para que uno pueda sugerir con confianza cometer un error tan grande.

La metodología asume que está más dispuesto a cometer un error en cierta cantidad y luego pasar a un experimento más sutil, en lugar de perder el tiempo en un error que ha caído por debajo de ese umbral.

Si ejecuta dos experimentos, se detendrán cuando las pérdidas esperadas estén por debajo de este límite de 4%-th. Debe usar los valores de sus opciones para calcular la pérdida promedio. Luego, comenzará a probar nuevamente utilizando estos valores como distribución de riqueza.

Las pruebas bayesianas A / B demuestran que puede tomar una decisión empresarial que no se sitúe por debajo de los límites establecidos. 

Puede utilizar los datos recopilados para ejecutar pruebas de forma continua hasta que vea un aumento en las métricas con cada experimento.

Cuando utiliza las pruebas bayesianas, puede cambiar periódicamente la prueba y mejorar los resultados a medida que se ejecuta. Las pruebas Bayesianas A / B utilizan la innovación constante para brindarle resultados concretos, con pequeñas mejoras incrementales. No necesita utilizar la salida como resultado, sino utilizarla como una opción.

Si ejecuta pruebas divididas en software u otros canales, no es necesario que las cambie para ejecutar pruebas Bayesianas A / B. 

En su lugar, puede mirar las herramientas a su disposición en este software para obtener resultados más calculados. Luego, ejecute constantemente estas pruebas y analícelas para elegir a sus ganadores.

Puede utilizar una prueba Bayesiana A / B en lugar de una prueba A / B tradicional si desea incluir más métricas en sus hallazgos. Esta es una prueba realmente buena para calcular un ROI más específico en su anuncio. Por supuesto, si tiene menos tiempo, siempre puede utilizar el enfoque frecuente para obtener una mayor "imagen general".

Independientemente del método que elija, las pruebas A / B son populares porque le brindan información que puede resultarle útil en campañas futuras.

Basado en materiales del sitio: https://blog.hubspot.com.

❤️ Почему этот тест называется "Баесовским"?

Funciona según una fórmula desarrollada por el matemático inglés Thomas Baes.

✔️ ¿Qué puede ayudarlo a realizar pruebas Beaesian A / B más precisas?

Lea sobre la distribución beta y la muestra de Thompson para determinar los valores anteriores de A y B.

✔️ ¿Cuál es la distribución de probabilidad en una prueba de división bayesiana?

Es un conjunto de posibles valores de parámetros junto con una función que indica la probabilidad de que exista algún parámetro en particular.

❤️ ¿Por qué son importantes las pruebas bayesianas A / B?

Tiene en cuenta los resultados de las verificaciones anteriores y las probabilidades en el análisis, lo que hace que los resultados de la nueva verificación sean más precisos.

❤️ ¿Qué son las pruebas bayesianas A / B?

Si bien acepta opciones que ofrecen pocas mejoras, la prueba Bayesiana A / B argumenta que la tasa de falsos positivos (la proporción de veces que aceptamos un tratamiento cuando el tratamiento no es realmente mejor) no es muy importante.

❤️ ¿Qué significa el enfoque bayesiano?

Un enfoque para el análisis de datos que proporciona una distribución de probabilidad posterior para algún parámetro (por ejemplo, un efecto de tratamiento) derivado de los datos observados y una distribución de probabilidad previa para el parámetro. La distribución posterior sirve como base para la inferencia estadística.

❤️ ¿Dónde se utilizan las estadísticas bayesianas?

En cualquier área de la aplicación donde tenga muchos datos heterogéneos o ruidosos, o donde necesite una comprensión clara de su incertidumbre, puede utilizar las estadísticas bayesianas.

Comparte en las redes sociales

5/5

Deja un comentario

Suscríbase ahora

Ofertas exclusivas y estuches premium

cómo crear un sitio web de listado de ico
Todos los casos

¿Cómo crear un sitio web de LISTADO ICO?

Blockchain se está volviendo extremadamente popular. En primer lugar, gracias a las criptomonedas. Pero antes de que la criptomoneda entre en juego, suceden algunas cosas. Uno de ellos es ICO. La cantidad de ICO está creciendo rápidamente y, por supuesto, solo algunas de ellas realmente merecen atención. Vamos a explorar las siguientes preguntas:

cómo crear un sitio web de ICO exitoso
Todos los casos

¿Cómo crear un sitio web de ICO exitoso?

Si bien debe contratar profesionales para que lo ayuden a construir su sitio web, aún puede hacer mucha preparación y planificación. Esto simplificará el proceso de diseño y ahorrará dinero. Empiece por crear todo el contenido relevante que necesita su sitio.

¿Quiere llevar su negocio al siguiente nivel?

Envíenos un correo electrónico ahora

Crecimiento de conversiones

Llamada de vuelta

Escríbenos