Байесовское A/B тестирование.

Зачем вы запускаете A/B тестирование?

Это просто: увидеть, какая из версий получит больший отклик аудитории.

До недавнего времени я думал, что существует только один вид A/B теста. Затем я встретил другую его версию. Этот метод называется байесовским A/B тестированием, и если вы хотите использовать более конкретный тактический подход к тестированию рекламы, это может быть ответом.

Он по-прежнему включает в себя проверку вариантов для выявления предпочтений аудитории, но требует больше вычислений и проб и ошибок. Но сначала давайте поговорим о том, чем байесовское A/B тестирование отличается от традиционных сплит-тестов.

Традиционное A/B тестирование.

Frequentist – стандартный метод сплит-тестирования, который использует данные только из текущего эксперимента.

Каждый A/B тест имеет одинаковое количество компонентов. Они используют данные, основанные на метрике, которая определяет варианты A и B. Например, метрика может быть количеством кликов по объявлению. Чтобы определить победителя, этот показатель измеряется статистически.

Давайте применим это к примеру использования частотного или традиционного подхода. В этом сценарии вы создадите два объявления и измените одну переменную, например, копию объявления. Затем выберите показатель, например количество кликов по объявлению.

В этом примере победителем A/B теста для частых пользователей станет то, какое объявление больше всего нажало ваша целевая аудитория, основываясь исключительно на результатах этого эксперимента.

Если бы вы проиллюстрировали эти компоненты в байесовском A/B тесте, вы бы подошли к тесту, используя другие данные.

Что такое байесовский A/B тест?

Байесовский подход берет информацию, собранную из аналогичных прошлых экспериментов, объединяет ее с текущими данными и делает вывод.

По сути, вы бы использовали вывод, сделанный из предыдущих байесовских экспериментов, как вариант для нового теста. Этот вид проверки использует метод проб и ошибок для создания непрерывных тестов, пока вы не найдете статистические данные для резервного копирования желаемых результатов.

Это определение может показаться немного сложным для визуализации без примера, поэтому давайте рассмотрим его.

Если ваше предыдущее объявление в Facebook привлекло 867 уникальных посетителей и получило 360 конверсий, получив коэффициент конверсии 41%, вы использовали бы эти данные, чтобы сообщить ожидаемое.

Если бы вы предположили, что ваше следующее объявление на Facebook достигло 5000 уникальных посетителей, вы могли бы заключить, что на основе предыдущего опыта вы получите 2050 конверсий. Это будет вариант “А”.

Допустим, вы смотрите на эффективность аналогичной рекламы в Facebook и в итоге получили коэффициент конверсии 52%. Это вариант “Б.” 

Что вы сделали, собрав данные из двух вариантов, так это вычислили апостериорное распределение, и предыдущие выполненные вами тесты теперь стали основой для вашего байесовского теста.

Если до расчета апостериорного распределения у вас были выводы о коэффициентах конверсии, полученных по каждой переменной, теперь вы можете обновить их на основе собранных данных.

Вы можете задать гипотетические вопросы о вашем тесте, такие как «Насколько вероятно, что« B »будет больше, чем вариант« A »?». В этом случае вы можете сделать вывод, что ответ на этот вопрос составляет 9%.

Затем начинается часть проб и ошибок.

Байесовская методология принимает решения, делая некоторые выводы. Вы можете рассчитать ожидаемый убыток по степени уменьшения вашей метрики при выборе любой переменной. 

Установите границу, например 2%, чтобы метрика опустилась ниже. Как только вы соберете достаточно данных для подтверждения того, что вариант упал ниже 2%, вы получите победителя теста.

Ваша предполагаемая потеря для варианта – это средняя величина того, на что ваша метрика уменьшится, если вы выберете указанный вариант. Граница должна быть достаточно маленькой. Это нужно, чтобы можно было с уверенностью предложить совершить такую ​​большую ошибку.

Методология предполагает, что вы более готовы совершить ошибку в определенной сумме, а затем перейти к более тонкому эксперименту вместо того, чтобы тратить время на ошибку, которая упала ниже этого порога.

Если вы проведете два эксперимента, они остановятся, когда ожидаемые потери будут ниже этой 4%-ой границы. Вы должны использовать значения ваших вариантов, чтобы рассчитать среднюю потерю. Затем вы снова начнете тестирование, используя эти значения в качестве распределения благосостояния.

Байесовское A/B тестирование доказывает, что вы можете принять бизнес-решение, которое не упадет ниже установленной вами границы. 

Вы можете использовать собранные данные для непрерывного запуска тестов до тех пор, пока не увидите увеличение показателей с каждым экспериментом.

Когда вы используете байесовское тестирование, вы можете периодически изменять тест и улучшать результаты по мере выполнения теста. Байесовское A/B тестирование использует постоянные инновации, чтобы дать вам конкретные результаты, внося небольшие улучшения в приращениях. Вам не нужно использовать вывод как результат, но вместо этого используйте его как вариант.

Если вы запускаете сплит-тесты в программном обеспечении или на других каналах, вам не нужно менять их для запуска байесовского A/B теста. 

Вместо этого вы можете посмотреть на имеющиеся в вашем распоряжении инструменты этого программного обеспечения, чтобы получить более просчитанные результаты. Затем постоянно запускать эти тесты и анализировать их, чтобы выбрать своих победителей.

Вы можете использовать байесовский A/B тест вместо традиционного A/B теста, если вы хотите учесть больше показателей в своих выводах. Это действительно хороший тест для расчета более конкретной рентабельности инвестиций в рекламу. Конечно, если у вас меньше времени, вы всегда можете использовать частый подход, чтобы получить больше «большой картины».

Какой бы метод вы ни выбрали, A/B тестирование популярно, потому что оно дает вам вывод, который может пригодиться вам в будущих кампаниях.

По материалам сайта: https://blog.hubspot.com.

❤️ Почему этот тест называется "Баесовским"?

Он работает по формуле, выведенной английским математиком, Томасом Баесом.

✔️ Что поможет сделать более точное беаесовское A/B тестирование?

Почитайте о бета-распределении и выборке Томпсона для определения предыдущих значений A и B.

✔️ Что такое распределение вероятностей в баесовском сплит-тесте?

Это набор возможных значений параметра вместе с функцией, сообщающей, насколько вероятен какой-либо отдельный параметр.

❤️ В чем важность баесовского A/B тестирования?

Оно учитывает при анализе результаты прошлых проверок и вероятности, что делает результаты новой проверки более точными.

❤️ Что такое байесовское А/В-тестирование?

Принимая варианты, которые предлагают небольшое улучшение, байесовское A/B-тестирование утверждает, что частота ложных срабатываний – доля случаев, когда мы принимаем лечение, когда лечение на самом деле не лучше – не очень важна.

❤️ Что означает байесовский подход?

Подход к анализу данных, который обеспечивает апостериорное распределение вероятностей для некоторого параметра (например, эффекта лечения), полученного из наблюдаемых данных, и априорное распределение вероятностей для параметра. Апостериорное распределение служит основой для статистических выводов.

❤️ Где используется байесовская статистика?

В любой области приложения, где у вас много разнородных или зашумленных данных или где вам нужно четкое понимание вашей неопределенности, вы можете использовать байесовскую статистику.