A / B тест: як розрахувати статистичну значущість результатів?

роблячи A / B тест, Чи замислювалися ви: чи є результати статистично значущими?

Нас як маркетологів не тільки просять виміряти результати наших кампаній, а й продемонструвати достовірність результатів.

Як розрахувати статистичну значущість?

• Визначте, що ви хочете перевірити.
• Визначте свою гіпотезу.
• Почніть збирати ваші дані.

Приклад з практики. Кожен з двох маркетологів створив версію цільової сторінки. Вони використовували функціональність свого A / B тесту HubSpot для збору результатів. У них була дружня ставка на перемогу.

Через кілька днів у них були результати. У одного вийшов трохи вищий коефіцієнт конверсії. Вони задавалися питанням, чи були результати статистично значущими. 

Існує ряд безкоштовних інструментів для розрахунку статистичної значущості. Щоб по-справжньому зрозуміти, що говорять ці інструменти, корисно їх вивчити. Особливо, що вони розраховують і що це означає. Ми наведемо конкретний приклад, щоб допомогти вам зрозуміти статистичну значущість.

1. Визначте, що ви хочете перевірити.

Спочатку вирішите, що ви хочете перевірити. Це може бути порівняння:

• коефіцієнтів конверсії на двох цільових сторінках з різними зображеннями;
• коефіцієнтів переходів по електронній пошті з різними рядками теми;
• коефіцієнтів конверсії для різних кнопок заклику до дії в кінці повідомлення в блозі. Кількість варіантів вибору нескінченно.

Виберіть фрагмент контенту, для якого ви хочете створити два різних варіанти. Для початку вирішіть, яка ваша мета: кращий показник конверсії або більше переглядів.

Ви, звичайно, можете протестувати додаткові варіанти або навіть створити багатомірний тест. Для задач же цього прикладу ми будемо дотримуватися двох варіантів цільової сторінки. Так ми підвищимо коефіцієнт конверсії. 

2. Визначте свою гіпотезу.

Перш ніж почати збір даних, я вважаю корисним викласти свою гіпотезу на початку тесту. Ще потрібно визначити ступінь достовірності, яку я хочу перевірити. 

Я тестую цільову сторінку і хочу подивитися, чи буде вона краще. Моя гіпотеза: існує зв'язок між цільової сторінкою, яку отримують відвідувачі, і їх коефіцієнтом конверсії.

3. Почніть збирати ваші дані.

Тепер, коли ви визначили, що ви хочете перевірити, прийшов час почати збір ваших даних. 

Швидше за все, проводите цей тест, щоб визначити, який фрагмент контенту найкраще використовувати в майбутньому. Вам потрібно вибрати розмір вибірки. Для цільової сторінки це може означати вибір певного часу для запуску тесту. Наприклад, активація вашої сторінки протягом 3 днів.

Для чогось на кшталт електронного листа ви можете вибрати випадковий зразок вашого списку. Варіанти ваших листів будуть відправлені спонтанним чином.

Визначення правильного розміру вибірки може бути складним. Він буде варіюватися в залежності від кожного тесту. 

Як загальне практичне правило, ви хочете, щоб очікуване значення для кожного варіанта було більше 5.

Ми розглянемо очікувані значення нижче.

4. Розрахувати результати хі-квадрат.

Існує ряд різних статистичних тестів, які ви можете запустити. Це дозволить виміряти значимість на основі ваших даних. Що краще за все використовувати? Це залежить від того, що ви намагаєтеся перевірити, і який тип даних ви збираєте. 

У більшості випадків ви будете використовувати критерій хі-квадрат, оскільки дані є дискретними.

Дискретний спосіб говорить, що існує кінцеве число результатів, які можна отримати. Наприклад, відвідувач буде або конвертувати, або не конвертувати. Для одного відвідувача не існує різних ступенів конверсії.

Ви можете проводити тестування на основі різного ступеня достовірності. Іноді її називають альфа-тестом. Якщо ви хочете, щоб вимога для досягнення статистичної значимості було високим, альфа повинен бути низьким. Можливо, ви бачили статистичну значущість з точки зору достовірності.

Наприклад, отримані результати статистично значущі з достовірністю 95%. У цьому сценарії альфа дорівнювала 0,05. Достовірність розраховується як 1 мінус альфа. Це означає, що ймовірність помилитися в заявленій взаємозв'язку становить 1 до 20.

Після збору даних я помістив їх в діаграму, щоб спростити їх організацію. Я тестую 2 різних варіанти A і B. Є 2 можливих результату, конвертованих, що не конвертованих, у мене буде графік 2 × 2. Я буду підсумовувати кожен стовпець і рядок, щоб я міг легко побачити результати в сукупності.

5. Розрахуйте ваші очікувані значення.

Тепер я обчислити очікувані значення. У наведеному вище прикладі ми очікували б побачити однакові коефіцієнти конверсії з обома версіями. Це в разі, якщо б не було ніякого зв'язку між тим, що відвідувачі цільової сторінки бачили, і їх коефіцієнтом конверсііПолучілось, що конвертували 1945 осіб з 4 935 відвідувачів. Це приблизно 39% відвідувачів.

Потрібно розрахувати очікувані частоти для кожної версії цільової сторінки, припускаючи, що різниці немає. Ми можемо: помножити кількість рядків для цього осередку на кількість стовпців для цього осередку і розділити його на кількість відвідувачів. У цьому прикладі, потрібно знайти очікуване значення конверсії в версії A. Я б використовував наступне рівняння: (1945 * 2401) / 4935 = 946.

6. Подивіться, як ваші результати відрізняються від того, що ви очікували.

Щоб обчислити хі-квадрат, я порівнюю спостерігаються частоти з очікуваними частотами. 

Це порівняння виконується так:

• віднімається спостерігається з очікуваного,
• зводиться в квадрат результату,
• результат ділиться його на значення очікуваної частоти.

Я намагаюся зрозуміти, наскільки мої реальні результати відрізняються від того, що ми можемо очікувати. Зведення в квадрат різниці підсилює вплив різниці, а розподіл на очікуване нормалізує результати. Рівняння виглядає так: (очікуваний - спостережуваний) ^ 2) / очікуваний.

7. Знайдіть свою суму.

Потім я підсумовують чотири результату, щоб отримати число хі-квадрат. В даному випадку це 0,95. Потрібно побачити, чи відрізняються коефіцієнти конверсії для моїх цільових сторінок від статистичної значущості. Я порівнюю це з значенням з таблиці розподілу хі-квадрат. Вона заснована на моїй альфі, в даному випадку 0,05, і ступенях свободи.

Ступінь свободи залежить від того, скільки у вас змінних. З таблиці 2 × 2, як в цьому прикладі, ступінь свободи дорівнює 1. 

У цьому випадку значення хі-квадрат має дорівнювати або перевищувати 3,84. Тоді результати будуть статистично значущими. Оскільки 0,95 менше 3,84, мої результати статистично не відрізняються. Немає ніякого зв'язку між тим, скільки разів цільової сторінки відвідувач отримує, і коефіцієнтом конверсії зі статистичної значимістю.

Чому статистична значимість важлива?

Чому це важливо, якщо ви можете просто використовувати безкоштовний інструмент для виконання розрахунків?

Розуміючи те, як розраховується статистична значимість, ви визначите, як найкраще тестувати результати своїх власних експериментів.

Багато інструменти використовують рівень достовірності 95%. Для ваших експериментів може мати сенс використовувати більш низький рівень достовірності. Це так, якщо вам не потрібно, щоб тест був більш суворим.

Розуміючи основні розрахунки допоможе вам пояснити тим, хто не знайомий зі статистикою, чому ваші результати важливі.

За матеріалами сайту: https://blog.hubspot.com.

❤️ В якому випадку тест буде статистично значущим, якщо в загальному сказати?

Якщо існує дуже низька ймовірність того, що результат міг статися випадково.

❤️ Для чого особливо потрібно обчислювати статистичну значущість?

Для виключення безперспективних гіпотез.

⏩ Що таке рівень значимості?

Це ймовірність відхилення нульової гіпотези, коли вона вірна.

⏩ Який вплив у р-значення?

Чим менше p-значення, тим більше впевненості в тому, що нульова гіпотеза може бути відкинута.

⏩ Як розрахувати статистичну значущість?

Почніть з перегляду лівого боку ваших ступенів свободи і знайдіть свою дисперсію. Потім підніміться вгору, щоб побачити p-значення. Порівняйте p-значення з рівнем значущості або, скоріше, з альфою. Пам'ятайте, що значення p менше 0,05 вважається статистично значимим.

⏩ Як визначити статистично значущі результати?

Щоб провести Z-тест, знайдіть Z-бал для вашого тесту або дослідження і перетворіть його в P-значення. Якщо ваше значення P нижче рівня значущості, ви можете зробити висновок, що результат є статистично значущим.

⏩ Що таке значення p в статистиці?

У статистиці p-значення - це ймовірність отримання результатів, принаймні, настільки ж екстремальних, як спостережувані результати перевірки статистичної гіпотези, за умови, що нульова гіпотеза вірна. Менше значення p означає, що є більш вагомі докази на користь альтернативної гіпотези.