А/б тестирование электронной почты

Вы помните свое первое A/B тестирование электронной почты? Я помню. Я чувствовал себя одновременно взволнованным и испуганным. Теперь я должен был использовать на практике то, что я узнал в колледже. 

Я знал, что нужен достаточно большой размер выборки для запуска теста электронной почты. Я знал, что мне нужно проводить проверку достаточно долго, чтобы получить статистически значимые результаты.

Я не был уверен, насколько велика была «достаточно большая» e-mail выборка и какова была «достаточная длина» для продолжительности проверки.

Поиск в Google дал мне множество ответов.

Оказывается, я был не один: это два самых распространенных вопроса A/B тестирования, которые мы получаем от клиентов. И причина, по которой типичные ответы из поиска Google не настолько полезны, заключается в том, что они говорят об A/B тестировании в идеальном, теоретическом, немаркетинговом мире.

Итак, я решил провести исследование, чтобы помочь вам ответить на этот вопрос на практике. В конце этого поста вы сможете узнать, как определить правильный размер выборки и сроки для следующей отправки по электронной почте.

Теория против реальности размера выборки и времени в A/B тестах.

Теоретически, чтобы определить победителя между вариацией A и вариацией B, вам нужно подождать, пока у вас не будет достаточно результатов. Так можно увидеть, есть ли статистически значимая разница между ними. 

В зависимости от вашей компании, размера выборки и того, как вы выполняете A/B тестирование, получение статистически значимых результатов может произойти в течение нескольких часов, дней или недель. Вам нужно просто выложить его, пока не получите эти результаты. Теоретически, вы не должны ограничивать время сбора результатов.

Для многих A/B тестов ожидание не проблема. Тестирование копии заголовка на целевой странице? Круто подождать месяц результатов.

Но на электронной почте ожидание может быть проблемой — по нескольким практическим причинам.

Каждая электронная почта имеет ограниченную аудиторию.

В отличие от целевой страницы, где вы можете продолжать собирать новых членов аудитории с течением времени, как только вы отправляете письмо в A/B тестирование по электронной почте, вот и все. Вы не можете «добавить» больше людей в этот A/B тест. 

Вы должны выяснить, как выжать максимум сока из ваших писем. 

Обычно для этого требуется:

• отправить A/B тест в наименьшую часть вашего списка, необходимую для получения статистически значимых результатов,
• выбрать победителя,
• отправить выигрышный вариант остальной части e-mail списка. 

Вы манипулируете как минимум несколькими сообщениями электронной почты в неделю. 

Если вы тратите слишком много времени на сбор результатов, вы можете пропустить отправку вашего следующего электронного письма. Это может иметь худшие последствия, чем если бы вы отправили не статистически значимое письмо победителя в один сегмент вашей базы данных. 

Отправка электронной почты часто рассчитана на своевременность.

Ваши маркетинговые электронные письма оптимизированы для доставки в определенное время суток, независимо от того, поддерживают ли ваши электронные письма время запуска новой кампании или посадки в почтовые ящики вашего получателя в то время, когда они хотели бы получить ее. 

Если вы подождете, пока ваша электронная почта будет полностью статистически значимой, вы можете упустить своевременность и актуальность, что в первую очередь может нанести ущерб цели отправки вашей электронной почты. 

Вот почему в программах A/B тестирования электронной почты встроен параметр «синхронизации». В конце этого периода времени, если ни один из результатов не является статистически значимым, один вариант, который вы выберете заранее, будет отправлен остальным из списка. 

Таким образом, вы все равно можете запускать A/B тесты в электронной почте. Вы также можете обойти ваши требования по планированию маркетинга электронной почты и гарантировать, что люди всегда получают своевременный контент.

Таким образом, чтобы выполнить A/B тесты в электронной почте, при этом оптимизируя ваши посылки для достижения наилучших результатов, вы должны принять во внимание как размер выборки, так и время. 

Как определить размер вашей выборки и сроки тестирования e-mail рассылки?

Хорошо, теперь перейдем к той части, которую вы ждали:

Как на самом деле рассчитать размер выборки и время, необходимое для вашего следующего электронного A/B теста? 

Как я уже упоминал выше, каждый A/B тест по электронной почте может быть отправлен только ограниченной аудитории, поэтому вам необходимо выяснить, как максимизировать его результаты. 

Для этого вам нужно определить наименьшую часть вашего общего списка, необходимую для получения статистически значимых результатов. Вот как вы рассчитаете это.

Оцените, достаточно ли у вас e-mail контактов в вашем списке.

Для A/B тестирования образца вашего списка вам нужно иметь достаточно большой размер списка, не менее 1000 контактов. Если их меньше, пропорция вашего списка, необходимая для A/B теста, чтобы получить статистически значимые результаты, становится все больше и больше. 

Например, чтобы получить статистически значимые результаты из небольшого списка, вам, возможно, придется проверить 85% или 95% вашего списка. И результаты тех людей в вашем списке, которые еще не прошли тестирование, будут настолько малы, что вы могли бы просто отправить половину своего списка одной версией электронной почты, а другую половину — другой, а затем измерить разницу. 

Ваши результаты могут не быть статистически значимыми в конце всего этого, но по крайней мере вы собираете знания, в то время как вы расширяете свои списки, чтобы иметь более 1000 контактов. 

Используйте калькулятор.

Вот как выглядит калькулятор, когда вы открываете его:

Введите в инструмент уровень достоверности, интервал доверия и население.

Население: Ваша выборка представляет большую группу людей. Она называется вашим населением.

В электронной почте ваше население является количеством людей в вашем списке, которые могут получать электронные письма. Не количество людей, которым вы послали электронные письма.

Чтобы подсчитать население, я бы посмотрел последние три-пять писем, которые вы отправили в этот список, и усреднил общее количество доставленных писем.

Используйте среднее значение при расчете размера выборки, поскольку общее количество доставленных электронных писем будет колебаться.

Доверительный интервал: Возможно, вы слышали, что это называется «предел ошибки». Многие опросы используют это, в том числе политические опросы. Это диапазон результатов, которые вы можете ожидать от этого A/B теста, когда он будет выполнен с полной популяцией. 

Например, если у вас есть интервал 5, и 60% вашего контрольного образца, вы можете быть уверены, что в интервале от 55%, то есть, 60 минус 5, до 65%, 60 плюс 5, также открылось это письмо.

Чем больше интервал, который вы выбираете, тем более уверенным вы можете быть в том, что истинные действия населения были учтены в этом интервале. В то же время большие интервалы дадут вам менее определенные результаты. Это компромисс, который вы должны сделать в своих письмах. 

Для наших целей не стоит слишком увлекаться доверительными интервалами. Когда вы только начинаете с A/B тестами, я бы рекомендовал выбрать меньший интервал, например, около 5.  

Уровень достоверности. Это говорит о том, насколько вы уверены, что результаты выборки лежат в пределах вышеуказанного доверительного интервала. Чем ниже процент, тем меньше вы можете быть уверены в результатах. Чем выше процент, тем больше людей вам понадобится и в вашей выборке. 

Пример:

Давайте представим, что мы отправляем наш первый A/B тест. В нашем списке 1000 человек, а показатель доставки составляет 95%. Мы хотим быть на 95% уверены, что наши выигрышные показатели электронной почты соответствуют 5-балльному интервалу наших показателей населения. 

Вот что мы добавили в инструмент:

• Население : 950 чел.;
• Уровень доверия : 95%;
• Доверительный интервал : 5.

Нажмите «Рассчитать».

Та-да! Калькулятор выложит ваш размер выборки. В нашем примере размер нашей выборки: 274.

Это размер одного из ваших вариантов. Так что для отправки электронной почты, если у вас есть один элемент управления и один вариант, вам нужно удвоить это число. Если бы у вас был элемент управления и два варианта, вы бы утроили его. И так далее.

В зависимости от вашей почтовой программы вам может потребоваться рассчитать процентную долю размера выборки для всей электронной почты.

Клиенты HubSpot, когда вы проводите A/B тестирование по электронной почте, вам нужно выбрать процент контактов, которым нужно отправить список, а не только размер выборки. 

Для этого вам нужно разделить число в вашем образце на общее количество контактов в вашем списке. Вот как выглядит эта математика, используя приведенные выше примеры:

274/1000 = 27,4%

Это означает, что каждый образец и ваш контроль, и ваш вариант должны быть отправлены 27-28% вашей аудитории. Иными словами, примерно 55% вашего общего списка.

И это все! Вы должны быть готовы выбрать время отправки. 

Как правильно выбрать сроки для вашего A/B теста?

Итак, вот где мы входим в реальность отправки электронной почты. Вы должны выяснить, как долго нужно выполнять свой A/B тест электронной почты, прежде чем отправлять выигрышную версию остальной части вашего списка.

Выяснение временного аспекта немного менее статистически обусловлено. Но вы должны определенно использовать прошлые данные. Это поможет вам принимать лучшие решения. Вот как вы можете это сделать.

Аналитика.

Выясните, когда клики, открытия писем или другие ваши показатели успеха начинают падать. Посмотрите ваши прошлые электронные письма, чтобы понять это. 

Например, какой процент от общего числа кликов вы получили в первый день? Если вы обнаружили, что вы получаете 70% своих кликов в первые 24 часа, а затем 5% каждый день после этого, имеет смысл ограничить окно времени проверки электронной почты на 24 часа.

В этом сценарии вы, вероятно, захотите оставить свое временное окно на 24 часа. После 24 часов ваша программа электронной почты должна сообщить вам, могут ли они определить статистически значимого победителя.

Тогда вам решать, что делать дальше. Если у вас достаточно большой размер выборки и вы обнаружили статистически значимого победителя в конце периода тестирования, многие почтовые маркетинговые программы автоматически и сразу отправят выигрышный вариант. 

Если у вас достаточно большой размер выборки и по истечении срока тестирования статистически значимого победителя нет, инструменты электронного маркетинга могут также позволить вам автоматически отправлять вариант по вашему выбору.

Если у вас меньший размер выборки или вы проводите A/B тест 50/50, когда отправлять следующее письмо на основе результатов исходного письма, полностью зависит от вас. 

Если у вас есть ограничения по времени, когда отправлять победившее письмо остальной части списка, выясните, насколько поздно вы можете отправить победителя. Если это не будет несвоевременно или не повлияет на другие сообщения электронной почты, отправите максимально позже. 

Например, если вы отправили электронное письмо в 18:00 по восточному поясному времени для срочной продажи, которая заканчивается в полночь по восточному поясному времени, вы не захотите определять победителя A/B теста в 23:00. Вместо этого вы хотите отправить электронная почта ближе к 8 или 9 часам вечера. Это даст людям, не участвующим в A/B тестировании, достаточно времени, чтобы действовать по электронной почте.

И это в значительной степени, ребята. После выполнения этих вычислений и изучения ваших данных вы должны быть в гораздо лучше подготовлены, чтобы отправлять по электронной почте A/B тесты. Они являются достаточно статистически достоверными  и помогают вам реально продвинуться в маркетинге электронной почты.

По материалам сайта: https://blog.hubspot.com.

❤️ Как еще можно тестировать электронную почту?

A/B тесты состоять из отправки нескольких строк темы для проверки того, какой из них генерирует больше открытий. Более сложное A/B тестирование может проверить совершенно разные шаблоны электронной почты друг против друга, чтобы увидеть, какой из них генерирует больше кликов.

⏩ Насколько детально можно проверить email?

Можно протестировать все элементы почты.

❤️ На что обращать внимание пи проверке текста рассылок?

На длину текстов, порядок слов, содержание, наличие обращения к получателю по имени или его отсутствие, стиль и тон текстов и др.Как

⏩ Как выбрать виды тестов для email?

Определите цели и рассмотрите варианты тестов для их достижения. Выбирайте наиболее удобный и эффективный для вас.

⏩ Когда не следует использовать A/B-тест?

4 причины не проводить тест.
Если ещё нет значимого трафика.
Если отсутствует обоснованная теория.
Если риск немедленных действий низкий.
Когда невозможно обеспечить безопасность тестирования.

⏩ Какая одна из распространенных ошибок при выполнении тестов A/B?

Одной из распространенных ошибок A/B-тестирования является слишком раннее проведение сплит-теста. Например, если вы запускаете новую кампанию OptinMonster, вам следует немного подождать, пока появятся данные для создания базовых показателей.

⏩ Как сделать тест A/B в Excel?

Статистический расчет мощности результата A/B-теста в Excel.
Выберите, является ли тест 1-хвостовым или 2-хвостым (в большинстве случаев, если вы запускаете A/B-тесты с использованием основных инструментов, имеющихся на рынке, это должно быть 2-хвостовое).
Выберите уровень достоверности (90%/95%/99%).
Добавьте номера посетителей для контроля и вариации.