Пошук
Close this search box.
Пошук
Close this search box.

Байєсова A / B тестування.

Байєсова AB тестування більш розважливий підхід до перевірки версій

Навіщо ви запускаєте A / B тестування?

Це просто: побачити, яка з версій отримає більший відгук аудиторії.

До недавнього часу я думав, що існує тільки один вид A / B тесту. Потім я зустрів іншу його версію. цей метод називається Байєсова A / B тестуванням, і якщо ви хочете використовувати більш конкретний тактичний підхід до тестування реклами, це може бути відповіддю.

Він як і раніше включає в себе перевірку варіантів для виявлення уподобань аудиторії, але вимагає більше обчислень і проб і помилок. Але спочатку давайте поговоримо про те, чим Байєсова A / B тестування відрізняється від традиційних спліт-тестів.






Традиційне A / B тестування.

Frequentist - стандартний метод спліт-тестування, який використовує дані тільки з поточного експерименту.

кожен A / B тест має однакову кількість компонентів. Вони використовують дані, засновані на метриці, яка визначає варіанти A і B. Наприклад, метрика може бути кількістю кліків по оголошенню. Щоб визначити переможця, цей показник вимірюється статистично.

Давайте застосуємо це наприклад використання частотного або традиційного підходу. У цьому сценарії ви створите два оголошення і змініть одну змінну, наприклад, копію оголошення. Потім виберіть показник, наприклад кількість кліків по оголошенню.

У цьому прикладі переможцем A / B тесту для частих користувачів стане те, яке оголошення найбільше натиснув ваша цільова аудиторія, грунтуючись виключно на результатах цього експерименту.

Якби ви проілюстрували ці компоненти в Байєсова A / B тесті, ви б підійшли до тесту, використовуючи інші дані.

Що таке байесовский A / B тест?

Байєсівський підхід бере інформацію, зібрану з аналогічних минулих експериментів, об'єднує її з поточними даними і робить висновок.

По суті, ви б використовували висновок, зроблений з попередніх байесовских експериментів, як варіант для нового тесту. Цей вид перевірки використовує метод проб і помилок для створення безперервних тестів, поки ви не знайдете статистичні дані для резервного копіювання бажаних результатів.

Байєсова ab тестування

Це визначення може здатися трохи складним для візуалізації без прикладу, тому давайте розглянемо його.

Якщо ваше попереднє оголошення в Facebook привернуло 867 унікальних відвідувачів і отримало 360 конверсій, отримавши коефіцієнт конверсії 41%, ви використовували б ці дані, щоб повідомити очікуване.

Якби ви припустили, що ваше наступне оголошення на Facebook досягло 5000 унікальних відвідувачів, ви могли б зробити висновок, що на основі попереднього досвіду ви отримаєте 2050 конверсій. Це буде варіант «А».

Припустимо, ви дивитеся на ефективність аналогічної реклами в Facebook і в підсумку отримали коефіцієнт конверсії 52%. Це варіант «Б.» 

Що ви зробили, зібравши дані з двох варіантів, так це вирахували апостеріорне розподіл, і попередні виконані вами тести тепер стали основою для вашого байєсівського тесту.

Якщо до розрахунку апостеріорного розподілу у вас були висновки про коефіцієнти конверсії, отриманих по кожній змінній, тепер ви можете оновити їх на основі зібраних даних.

Ви можете задати гіпотетичні питання про вашому тесті, такі як «Наскільки ймовірно, що« B »буде більше, ніж варіант« A »?». В цьому випадку ви можете зробити висновок, що відповідь на це питання становить 9%.

Потім починається частина проб і помилок.

Байєсова методологія приймає рішення, роблячи деякі висновки. Ви можете розрахувати очікуваний збиток за ступенем зменшення вашої метрики при виборі будь-якої змінної. 

Встановіть кордон, наприклад 2%, щоб метрика опустилася нижче. Як тільки ви зберете достатньо даних для підтвердження того, що варіант впав нижче 2%, ви отримаєте переможця тесту.

Ваша передбачувана втрата для варіанта - це середня величина того, на що ваша метрика зменшиться, якщо ви виберете вказаний варіант. Кордон має бути досить маленькою. Це потрібно, щоб можна було з упевненістю запропонувати зробити таку велику помилку.

Методологія передбачає, що ви більше готові зробити помилку в певній сумі, а потім перейти до більш тонкому експерименту замість того, щоб витрачати час на помилку, яка впала нижче цього порога.

Якщо ви проведете два експерименти, вони зупиняться, коли очікувані втрати будуть нижче цієї 4%-ой кордону. Ви повинні використовувати значення ваших варіантів, щоб розрахувати середню втрату. Потім ви знову почнете тестування, використовуючи ці значення в якості розподілу добробуту.

Байєсова A / B тестування доводить, що ви можете взяти бізнес-рішення, яке не впаде нижче встановленої вами межі. 

Ви можете використовувати зібрані дані для безперервного запуску тестів до тих пір, поки не побачите збільшення показників з кожним експериментом.

Коли ви використовуєте Байєсова тестування, ви можете періодично змінювати тест і покращувати результати по мірі виконання тесту. Байєсова A / B тестування використовує постійні інновації, щоб дати вам конкретні результати, вносячи невеликі поліпшення в збільшеннях. Вам не потрібно використовувати висновок як результат, але замість цього використовуйте його як варіант.

Якщо ви запускаєте спліт-тести в програмному забезпеченні або на інших каналах, вам не потрібно змінювати їх для запуску байєсівського A / B тесту. 

Замість цього ви можете подивитися на наявні у вашому розпорядженні інструменти цього програмного забезпечення, щоб отримати більш прораховані результати. Потім постійно запускати ці тести і аналізувати їх, щоб вибрати своїх переможців.

Ви можете використовувати байесовский A / B тест замість традиційного A / B тесту, якщо ви хочете врахувати більше показників в своїх висновках. Це дійсно хороший тест для розрахунку більш конкретної рентабельності інвестицій в рекламу. Звичайно, якщо у вас менше часу, ви завжди можете використовувати частий підхід, щоб отримати більше «великої картини».

Який би метод ви не вибрали, A / B тестування популярно, тому що воно дає вам висновок, який може стати в нагоді вам в майбутніх кампаніях.

За матеріалами сайту: https://blog.hubspot.com.

❤️ Почему этот тест называется "Баесовским"?

Він працює за формулою, виведеною англійським математиком, Томасом Баєс.

✔️ Що допоможе зробити більш точне беаесовское A / B тестування?

Почитайте про бета-розподіл і вибірці Томпсона для визначення попередніх значень A і B.

✔️ Що таке розподіл ймовірностей в баесовском спліт-тесті?

Це набір можливих значень параметра разом з функцією, що повідомляє, наскільки вірогідний якийсь окремий параметр.

❤️ В чому важливість баесовского A / B тестування?

Воно враховує при аналізі результати минулих перевірок та ймовірності, що робить результати нової перевірки точнішими.

❤️ Що таке Байєсова А / В-тестування?

Беручи варіанти, які пропонують невелике поліпшення, Байєсова A / B-тестування стверджує, що частота помилкових спрацьовувань - частка випадків, коли ми приймаємо лікування, коли лікування насправді не краще - не дуже важлива.

❤️ Що означає байесовский підхід?

Підхід до аналізу даних, який забезпечує апостеріорне розподіл ймовірностей для деякого параметра (наприклад, ефекту лікування), отриманого з спостережуваних даних, і апріорне розподіл ймовірностей для параметра. Апостеріорне розподіл служить основою для статистичних висновків.

❤️ Де використовується байєсівську статистика?

У будь-якій галузі застосування, де у вас багато різнорідних або зашумлених даних або де вам потрібно чітке розуміння вашої невизначеності, ви можете використовувати Байєсова статистику.

Зворотний дзвінок

Напишіть нам