Пошук
Close this search box.
Пошук
Close this search box.

Розсилка листів по електронній пошті. А / В тестування e-mail розсилки.

ab тестування електронної пошти як визначити розмір вибірки і терміни перевірки

Поділитися в соціальних мережах

Ви пам'ятаєте свій перший A / B тестування електронної пошти? Я пам'ятаю. Я відчував себе одночасно схвильованим і переляканим. Тепер я повинен був використовувати на практиці те, що я дізнався в коледжі. 

Я знав, що потрібен чималий розмір вибірки для запуску тесту електронної пошти. Я знав, що мені потрібно проводити перевірку досить довго, щоб отримати статистично значущі результати.

Я не був упевнений, наскільки велика була «досить велика» e-mail вибірка і яка була «достатня довжина» для тривалості перевірки.

Пошук в Google дав мені безліч відповідей.

Виявляється, я був не один: це два найпоширеніших питання A / B тестування, які ми отримуємо від клієнтів. І причина, по якій типові відповіді з пошуку Google не настільки корисні, полягає в тому, що вони говорять про A / B тестування в ідеальному, теоретичному, не маркетингових світі.

Отже, я вирішив провести дослідження, щоб допомогти вам відповісти на це питання на практиці. В кінці цього поста ви зможете дізнатися, як визначити правильний розмір вибірки і терміни для наступної відправки по електронній пошті.





Теорія проти реальності розміру вибірки і часу в A / B тестах.

Теоретично, щоб визначити переможця між варіацією A і варіацією B, вам потрібно почекати, поки у вас не буде достатньо результатів. Так можна побачити, чи є статистично значуща різниця між ними. 

Залежно від вашої компанії, розміру вибірки і того, як ви виконуєте A / B тестування, отримання статистично значущих результатів може відбутися протягом декількох годин, днів або тижнів. Вам потрібно просто викласти його, поки не отримаєте ці результати. Теоретично, ви не повинні обмежувати час збору результатів.

Для багатьох A / B тестів очікування не проблема. Тестування копії заголовка на цільовій сторінці? Круто почекати місяць результатів.

Але на електронній пошті очікування може бути проблемою - за кількома практичних причин.

Кожна електронна пошта має обмежену аудиторію.

На відміну від цільової сторінки, де ви можете продовжувати збирати нових членів аудиторії з плином часу, як тільки ви відправляєте лист в A / B тестування по електронній пошті, ось і все. Ви не можете «додати» більше людей в цей A / B тест. 

Ви повинні з'ясувати, як вичавити максимум соку з ваших листів. 

Зазвичай для цього потрібно:

  • відправити A / B тест в найменшу частину вашого списку, необхідну для отримання статистично значущих результатів,
  • вибрати переможця,
  • відправити виграшний варіант решти e-mail списку. 

Ви маніпулюєте як мінімум кількома повідомленнями електронної пошти в тиждень. 

Якщо ви витрачаєте занадто багато часу на збір результатів, ви можете пропустити відправку вашого наступного електронного листа. Це може мати гірші наслідки, ніж якби ви відправити не статистично значуще лист переможця в один сегмент вашої бази даних. 

Відправлення електронної пошти часто розрахована на своєчасність.

Ваші маркетингові електронні листи оптимізовані для доставки в певний час доби, незалежно від того, чи підтримують ваші електронні листи час запуску нової кампанії або посадки в поштові скриньки вашого одержувача в той час, коли вони хотіли б отримати її. 

Якщо ви почекаєте, поки ваша електронна пошта буде повністю статистично значущою, ви можете втратити своєчасність і актуальність, що в першу чергу може завдати шкоди мети відправки Вашу електронну поштову скриньку. 

Ось чому в програмах A / B тестування електронної пошти вбудований параметр «синхронізації». В кінці цього періоду часу, якщо жоден з результатів не є статистично значущим, один варіант, який ви виберете заздалегідь, буде відправлений іншим зі списку. 

Таким чином, ви все одно можете запускати A / B тести в електронній пошті. Ви також можете обійти ваші вимоги з планування маркетингу електронної пошти і гарантувати, що люди завжди отримують своєчасний контент.

Таким чином, щоб виконати A / B тести в електронній пошті, при цьому оптимізуючи ваші посилки для досягнення найкращих результатів, ви повинні взяти до уваги як розмір вибірки, так і час. 

Як визначити розмір вашої вибірки і терміни тестування e-mail розсилки?

Добре, тепер перейдемо до тієї частини, яку ви чекали:

Як насправді розрахувати розмір вибірки і час, необхідний для вашого наступного електронного A / B тесту? 

Як я вже згадував вище, кожен A / B тест по електронній пошті може бути відправлений тільки обмеженої аудиторії, тому вам необхідно з'ясувати, як максимізувати його результати. 

Для цього вам потрібно визначити найменшу частину вашого загального списку, необхідну для отримання статистично значущих результатів. Ось як ви розрахуєте це.

Оцініть, чи достатньо у вас e-mail контактів у вашому списку.

Для A / B тестування зразка вашого списку вам потрібно мати достатньо великий розмір списку, не менше 1000 контактів. Якщо їх менше, пропорція вашого списку, необхідна для A / B тесту, щоб отримати статистично значущі результати, стає все більше і більше. 

Наприклад, щоб отримати статистично значущі результати з невеликого списку, вам, можливо, доведеться перевірити 85% або 95% вашого списку. І результати тих людей у вашому списку, які ще не пройшли тестування, будуть настільки малі, що ви могли б просто відправити половину свого списку однією версією електронної пошти, а іншу половину - інший, а потім виміряти різницю. 

Ваші результати можуть не бути статистично значущими в кінці всього цього, але принаймні ви збираєте знання, в той час як ви розширюєте свої списки, щоб мати більше 1000 контактів. 

Використовуйте калькулятор.

Ось як виглядає калькулятор, коли ви відкриваєте його:

калькулятор а б тест

Введіть в інструмент рівень достовірності, інтервал довіри і населення.

населення: Ваша вибірка представляє велику групу людей. Вона називається вашим населенням.

В електронній пошті ваше населення є кількістю людей у вашому списку, які можуть отримувати електронні листи. Чи не кількість людей, яким ви послали електронні листи.

Щоб підрахувати населення, я б подивився останні три-п'ять листів, які ви відправили в цей список, і усереднити загальна кількість доставлених листів.

Використовуйте середнє значення при розрахунку розміру вибірки, оскільки загальна кількість доставлених електронних листів буде коливатися.

Довірчий інтервал: Можливо, ви чули, що це називається «межа помилки». Багато опитування використовують це, в тому числі політичні опитування. Це діапазон результатів, які ви можете очікувати від цього A / B тесту, коли він буде виконаний з повною популяцією. 

Наприклад, якщо у вас є інтервал 5, і 60% вашого контрольного зразка, ви можете бути впевнені, що в інтервалі від 55%, тобто, 60 мінус 5, до 65%, 60 плюс 5, також відкрилося цей лист.

Чим більше інтервал, який ви вибираєте, тим більш впевненим ви можете бути в тому, що справжні дії населення були враховані в цьому інтервалі. У той же час великі інтервали дадуть вам менш певні результати. Це компроміс, який ви повинні зробити в своїх листах. 

Для наших цілей не варто занадто захоплюватися довірчими інтервалами. Коли ви тільки починаєте з A / B тестами, я б рекомендував вибрати менший інтервал, наприклад, близько 5.  

рівень достовірності. Це говорить про те, наскільки ви впевнені, що результати вибірки лежать в межах вищевказаного довірчого інтервалу. Чим нижче відсоток, тим менше ви можете бути впевнені в результатах. Чим вище відсоток, тим більше людей вам знадобиться і в вашій вибірці. 

приклад:

Давайте уявимо, що ми відправляємо наш перший A / B тест. У нашому списку 1000 чоловік, а показник доставки складає 95%. Ми хочемо бути на 95% впевнені, що наші виграшні показники електронної пошти відповідають 5-бальною інтервалу наших показників населення. 

Ось що ми додали в інструмент:

  • населення : 950 чол .;
  • рівень довіри : 95%;
  • Довірчий інтервал : 5.
а б тест калькулятор приклад налаштувань перевірки

Натисніть «Розрахувати».

Та да! Калькулятор викладе ваш розмір вибірки. У нашому прикладі розмір нашої вибірки: 274.

Це розмір одного з ваших варіантів. Так що для відправки електронної пошти, якщо у вас є один елемент управління і один варіант, вам потрібно подвоїти це число. Якби у вас був елемент управління і два варіанти, ви б потроїли його. І так далі.

Залежно від вашої поштової програми вам може знадобитися розрахувати процентну частку розміру вибірки для всієї електронної пошти.

Клієнти HubSpot, коли ви проводите A / B тестування по електронній пошті, вам потрібно вибрати відсоток контактів, яким потрібно відправити список, а не тільки розмір вибірки. 

Для цього вам потрібно розділити число в вашому зразку на загальну кількість контактів у вашому списку. Ось як виглядає ця математика, використовуючи наведені вище приклади:

274/1000 = 27,4%

Це означає, що кожен зразок і ваш контроль, і ваш варіант повинні бути відправлені 27-28% вашої аудиторії. Іншими словами, приблизно 55% вашого загального списку.

а б тест електронної пошти результати

І це все! Ви повинні бути готові вибрати час відправки. 

Як правильно вибрати терміни для вашого A / B тесту?

Отже, ось де ми входимо в реальність відправки електронної пошти. Ви повинні з'ясувати, як довго потрібно виконувати свій A / B тест електронної пошти, перш ніж відправляти виграшну версію іншої частини вашого списку.

З'ясування тимчасового аспекту трохи менше статистично обумовлено. Але ви повинні виразно використовувати минулі дані. Це допоможе вам приймати кращі рішення. Ось як ви можете це зробити.

Аналітика.

З'ясуйте, коли кліки, відкриття листів або інші ваші показники успіху починають падати. Подивіться ваші минулі електронні листи, щоб зрозуміти це. 

Наприклад, який відсоток від загального числа кліків ви отримали в перший день? Якщо ви виявили, що ви отримуєте 70% своїх кліків в перші 24 години, а потім 5% кожен день після цього, має сенс обмежити вікно часу перевірки електронної пошти на 24 години.

У цьому сценарії ви, ймовірно, захочете залишити своє тимчасове вікно на 24 години. Після 24 годин ваша програма електронної пошти повинна повідомити вам, чи можуть вони визначити статистично значущої переможця.

Тоді вам вирішувати, що робити далі. Якщо у вас досить великий розмір вибірки і ви виявили статистично значущої переможця в кінці періоду тестування, багато поштові маркетингові програми автоматично і відразу відправлять виграшний варіант. 

Якщо у вас досить великий розмір вибірки і після закінчення терміну тестування статистично значущої переможця немає, інструменти електронного маркетингу можуть також дозволити вам автоматично відправляти варіант за вашим вибором.

Якщо у вас менший розмір вибірки або ви проводите A / B тест 50/50, коли відправляти наступний лист на основі результатів вихідного листа, повністю залежить від вас. 

Якщо у вас є обмеження по часу, коли відправляти перемогло лист іншої частини списку, з'ясуйте, наскільки пізно ви можете відправити переможця. Якщо це не буде несвоєчасно або не вплине на інші повідомлення електронної пошти, відправите максимально пізніше. 

Наприклад, якщо ви відправили електронного листа о 18:00 за східним поясним часом для термінового продажу, яка закінчується опівночі за східним поясним часом, ви не захочете визначати переможця A / B тесту о 23:00. Замість цього ви хочете відправити електронна пошта ближче до 8 або 9 години вечора. Це дасть людям, які не беруть участі в A / B тестування, достатньо часу, щоб діяти по електронній пошті.

І це в значній мірі, хлопці. Після виконання цих обчислень і вивчення ваших даних ви повинні бути в набагато краще підготовлені, щоб відправляти по електронній пошті A / B тести. Вони є досить статистично достовірними і допомагають вам реально просунутися в маркетингу електронної пошти.

За матеріалами сайту: https://blog.hubspot.com.

❤️ Як ще можна тестувати електронну пошту?

A / B тести складатися з відправки кількох рядків теми для перевірки того, який з них генерує більше відкриттів. Більш складне A / B тестування може перевірити абсолютно різні шаблони електронної пошти один проти одного, щоб побачити, який з них генерує більше кліків.

⏩ Наскільки детально можна перевірити email?

Можна протестувати всі елементи пошти.

❤️ На що звертати увагу пі перевірці тексту розсилок?

На довжину текстів, порядок слів, зміст, наявність звернення до одержувача по імені або його відсутність, стиль і тон текстів і др.Как

⏩ Як вибрати види тестів для email?

Визначте цілі і розгляньте варіанти тестів для їх досягнення. Вибирайте найбільш зручний і ефективний для вас.

⏩ Коли не слід використовувати A / B-тест?

4 причини не проводити тест.
Якщо ще немає значимого трафіку.
Якщо відсутня обґрунтована теорія.
Якщо ризик негайних дій низький.
Коли неможливо забезпечити безпеку тестування.

⏩ Яка одна з поширених помилок при виконанні тестів A / B?

Однією з поширених помилок A / B-тестування є занадто раннє проведення спліт-тесту. Наприклад, якщо ви запускаєте нову кампанію OptinMonster, вам слід трохи почекати, поки з'являться дані для створення базових показників.

⏩ Як зробити тест A / B в Excel?

Статистичний розрахунок потужності результату A / B-тесту в Excel.
Виберіть, чи є тест 1-хвостовим або 2-хвіст (в більшості випадків, якщо ви запускаєте A / B-тести з використанням основних інструментів, наявних на ринку, це повинно бути 2-хвостове).
Виберіть рівень достовірності (90% / 95% / 99%).
Додайте номери відвідувачів для контролю і варіації.

Поділитися в соціальних мережах

5/5

Залишити коментар

Підписатися Зараз

Ексклюзивні пропозиції і преміум кейси

як створити сайт ico listing
все Кейси

Як створити сайт ICO LISTING?

Блокчейн стає надзвичайно популярним. В першу чергу, завдяки криптовалюта. Але перш ніж криптовалюта вступить в гру, відбувається кілька речей. Один з них - ICO. Кількість ICO стрімко зростає, і, звичайно, лише деякі з них дійсно заслуговують на увагу. Ми збираємося вивчити такі питання:

як створити успішний сайт ICO
все Кейси

Як створити успішний сайт ICO?

Хоча вам слід найняти професіоналів, які допоможуть вам у створенні вашого сайту, ви все ж можете зробити підготуватися і багато запланувати. Це спростить процес проектування і заощадить гроші. Почніть з створення всього релевантного контенту, який знадобиться сайту.

Хочете підняти свій бізнес на новий рівень?

Пишіть нам зараз

зростання Переходи

Зворотний дзвінок

Напишіть нам