fbpx

A/B тест: как рассчитать статистическую значимость результатов?

a b тест как рассчитать статистическую значимость результатов

Делая A/B тест, задумывались ли вы: являются ли результаты статистически значимыми? Нас как маркетологов не только просят измерить результаты наших кампаний, но и продемонстрировать достоверность результатов.

Как рассчитать статистическую значимость?

Пример из практики. Каждый из двух маркетологов создал версию целевой страницы. Они использовали функциональность своего A/B теста HubSpot для сбора результатов. У них была дружеская ставка на победу.

Через несколько дней у них были результаты. У одного получился немного более высокий коэффициент конверсии. Они задавались вопросом, были ли результаты статистически значимыми. 

Существует ряд бесплатных инструментов для расчета статистической значимости. Чтобы по-настоящему понять, что говорят эти инструменты, полезно их изучить. Особенно, что они рассчитывают и что это значит. Мы приведем конкретный пример, чтобы помочь вам понять статистическую значимость.

1. Определите, что вы хотите проверить.

Сначала решите, что вы хотите проверить. Это может быть сравнение:

  • коэффициентов конверсии на двух целевых страницах с разными изображениями;
  • коэффициентов переходов по электронной почте с разными строками темы;
  • коэффициентов конверсии для разных кнопок призыва к действию в конце сообщения в блоге. Количество вариантов выбора бесконечно.

Выберите фрагмент контента, для которого вы хотите создать два разных варианта. Для начала решите, какова ваша цель: лучший показатель конверсии или больше просмотров.

Вы, конечно, можете протестировать дополнительные варианты или даже создать многомерный тест. Для задач же этого примера мы будем придерживаться двух вариантов целевой страницы. Так мы повысим коэффициент конверсии. 

2. Определите свою гипотезу.

Прежде чем начать сбор данных, я считаю полезным изложить свою гипотезу в начале теста. Еще нужно определить степень достоверности, которую я хочу проверить. 

Я тестирую целевую страницу и хочу посмотреть, будет ли она лучше. Моя гипотеза: существует связь между целевой страницей, которую получают посетители, и их коэффициентом конверсии.

3. Начните собирать ваши данные.

Теперь, когда вы определили, что вы хотите проверить, пришло время начать сбор ваших данных. 

Скорее всего, проводите этот тест, чтобы определить, какой фрагмент контента лучше всего использовать в будущем. Вам нужно выбрать размер выборки. Для целевой страницы это может означать выбор определенного времени для запуска теста. Например, активация вашей страницы в течение 3 дней.

Для чего-то вроде электронного письма вы можете выбрать случайный образец вашего списка. Варианты ваших писем будут отправлены спонтанным образом.

Определение правильного размера выборки может быть сложным. Он будет варьироваться в зависимости от каждого теста. 

Как общее практическое правило, вы хотите, чтобы ожидаемое значение для каждого варианта было больше 5.

Мы рассмотрим ожидаемые значения ниже.

4. Рассчитать результаты хи-квадрат.

Существует ряд различных статистических тестов, которые вы можете запустить. Это позволит измерить значимость на основе ваших данных. Что лучше всего использовать? Это зависит от того, что вы пытаетесь проверить, и какой тип данных вы собираете. 

В большинстве случаев вы будете использовать критерий хи-квадрат, поскольку данные являются дискретными.

Дискретный способ говорит, что существует конечное число результатов, которые можно получить. Например, посетитель будет либо конвертировать, либо не конвертировать. Для одного посетителя не существует разных степеней конверсии.

Вы можете проводить тестирование на основе разной степени достоверности. Иногда ее называют альфа-тестом. Если вы хотите, чтобы требование для достижения статистической значимости было высоким, альфа должен быть низким. Возможно, вы видели статистическую значимость с точки зрения достоверности.

Например, получены результаты статистически значимы с достоверностью 95%. В этом сценарии альфа равнялась 0,05. Достоверность рассчитывается как 1 минус альфа. Это означает, что вероятность ошибиться в заявленной взаимосвязи составляет 1 к 20.

После сбора данных я поместил их в диаграмму, чтобы упростить их организацию. Я тестирую 2 разных варианта A и B. Есть 2 возможных результата, конвертированных, не конвертированных, у меня будет график 2×2. Я буду суммировать каждый столбец и строку, чтобы я мог легко увидеть результаты в совокупности.

расчет результатов хи квадрат

5. Рассчитайте ваши ожидаемые значения.

Теперь я вычислю ожидаемые значения. В приведенном выше примере мы ожидали бы увидеть одинаковые коэффициенты конверсии с обеими версиями. Это в случае, если бы не было никакой связи между тем, что посетители целевой страницы видели, и их коэффициентом конверсииПолучилось, что конвертировали 1945 человек из 4 935 посетителей. Это примерно 39% посетителей.

Нужно рассчитать ожидаемые частоты для каждой версии целевой страницы, предполагая, что разницы нет. Мы можем: умножить количество строк для этой ячейки на количество столбцов для этой ячейки и разделить его на количество посетителей. В этом примере, нужно найти ожидаемое значение конверсии в версии A. Я бы использовал следующее уравнение: (1945 * 2401) / 4935 = 946.

расчет ожидаемых значений

6. Посмотрите, как ваши результаты отличаются от того, что вы ожидали.

Чтобы вычислить хи-квадрат, я сравниваю наблюдаемые частоты с ожидаемыми частотами. 

Это сравнение выполняется так:

  • вычитается наблюдаемое из ожидаемого,
  • возводится в квадрат результата,
  • результат делится его на значение ожидаемой частоты.

Я пытаюсь понять, насколько мои реальные результаты отличаются от того, что мы можем ожидать. Возведение в квадрат разницы усиливает влияние разницы, а деление на ожидаемое нормализует результаты. Уравнение выглядит так: (ожидаемый — наблюдаемый) ^ 2) / ожидаемый.

вычисление хи квадрата

7. Найдите свою сумму.

Затем я суммирую четыре результата, чтобы получить число хи-квадрат. В данном случае это 0,95. Нужно увидеть, отличаются ли коэффициенты конверсии для моих целевых страниц от статистической значимости. Я сравниваю это со значением из таблицы распределения хи-квадрат. Она основана на моей альфе, в данном случае 0,05, и степенях свободы.

Степень свободы зависит от того, сколько у вас переменных. С таблицей 2×2, как в этом примере, степень свободы равна 1. 

В этом случае значение хи-квадрат должно быть равно или превышать 3,84. Тогда результаты будут статистически значимыми. Поскольку 0,95 меньше 3,84, мои результаты статистически не отличаются. Нет никакой связи между тем, какую версию целевой страницы посетитель получает, и коэффициентом конверсии со статистической значимостью.

Почему статистическая значимость важна?

Почему это важно, если вы можете просто использовать бесплатный инструмент для выполнения расчетов?

Понимая то, как рассчитывается статистическая значимость, вы определите, как лучше всего тестировать результаты своих собственных экспериментов.

Многие инструменты используют уровень достоверности 95%. Для ваших экспериментов может иметь смысл использовать более низкий уровень достоверности. Это так, если вам не требуется, чтобы тест был более строгим.

Понимая основные расчеты поможет вам объяснить тем, кто не знаком со статистикой, почему ваши результаты важны.

По материалам сайта: https://blog.hubspot.com.

❤️ В каком случае тест будет статистически значимым, если в общем сказать?

Если существует очень низкая вероятность того, что результат мог произойти случайно.

❤️ Для чего особенно нужно вычислять статистическую значимость?

Для исключения бесперспективных гипотез.

⏩ Что такое уровень значимости?

Это вероятность отклонения нулевой гипотезы, когда она верна.

⏩ Какое влияние у р-значения?

Чем меньше p-значение, тем больше уверенности в том, что нулевая гипотеза может быть отвергнута.

Байесовское A/B тестирование: более расчетливый подход к проверке версий.

байесовское A B тестирование более расчетливый подход к проверке версий

Зачем вы запускаете A/B тестирование?

Это просто: увидеть, какая из версий получит больший отклик аудитории.

До недавнего времени я думал, что существует только один вид A/B теста. Затем я встретил другую его версию. Этот метод называется байесовским A/B тестированием, и если вы хотите использовать более конкретный тактический подход к тестированию рекламы, это может быть ответом.

Он по-прежнему включает в себя проверку вариантов для выявления предпочтений аудитории, но требует больше вычислений и проб и ошибок. Но сначала давайте поговорим о том, чем байесовское A/B тестирование отличается от традиционных сплит-тестов.

Традиционное A/B тестирование.

Frequentist – стандартный метод сплит-тестирования, который использует данные только из текущего эксперимента.

Каждый A/B тест имеет одинаковое количество компонентов. Они используют данные, основанные на метрике, которая определяет варианты A и B. Например, метрика может быть количеством кликов по объявлению. Чтобы определить победителя, этот показатель измеряется статистически.

Давайте применим это к примеру использования частотного или традиционного подхода. В этом сценарии вы создадите два объявления и измените одну переменную, например, копию объявления. Затем выберите показатель, например количество кликов по объявлению.

В этом примере победителем A/B теста для частых пользователей станет то, какое объявление больше всего нажало ваша целевая аудитория, основываясь исключительно на результатах этого эксперимента.

Если бы вы проиллюстрировали эти компоненты в байесовском A/B тесте, вы бы подошли к тесту, используя другие данные.

Что такое байесовский A/B тест?

Байесовский подход берет информацию, собранную из аналогичных прошлых экспериментов, объединяет ее с текущими данными и делает вывод.

По сути, вы бы использовали вывод, сделанный из предыдущих байесовских экспериментов, как вариант для нового теста. Этот вид проверки использует метод проб и ошибок для создания непрерывных тестов, пока вы не найдете статистические данные для резервного копирования желаемых результатов.

байесовское a b тестирование

Это определение может показаться немного сложным для визуализации без примера, поэтому давайте рассмотрим его.

Если ваше предыдущее объявление в Facebook привлекло 867 уникальных посетителей и получило 360 конверсий, получив коэффициент конверсии 41%, вы использовали бы эти данные, чтобы сообщить ожидаемое.

Если бы вы предположили, что ваше следующее объявление на Facebook достигло 5000 уникальных посетителей, вы могли бы заключить, что на основе предыдущего опыта вы получите 2050 конверсий. Это будет вариант «А».

Допустим, вы смотрите на эффективность аналогичной рекламы в Facebook и в итоге получили коэффициент конверсии 52%. Это вариант «Б.» 

Что вы сделали, собрав данные из двух вариантов, так это вычислили апостериорное распределение, и предыдущие выполненные вами тесты теперь стали основой для вашего байесовского теста.

Если до расчета апостериорного распределения у вас были выводы о коэффициентах конверсии, полученных по каждой переменной, теперь вы можете обновить их на основе собранных данных.

Вы можете задать гипотетические вопросы о вашем тесте, такие как «Насколько вероятно, что« B »будет больше, чем вариант« A »?». В этом случае вы можете сделать вывод, что ответ на этот вопрос составляет 9%.

Затем начинается часть проб и ошибок.

Байесовская методология принимает решения, делая некоторые выводы. Вы можете рассчитать ожидаемый убыток по степени уменьшения вашей метрики при выборе любой переменной. 

Установите границу, например 2%, чтобы метрика опустилась ниже. Как только вы соберете достаточно данных для подтверждения того, что вариант упал ниже 2%, вы получите победителя теста.

Ваша предполагаемая потеря для варианта — это средняя величина того, на что ваша метрика уменьшится, если вы выберете указанный вариант. Граница должна быть достаточно маленькой. Это нужно, чтобы можно было с уверенностью предложить совершить такую ​​большую ошибку.

Методология предполагает, что вы более готовы совершить ошибку в определенной сумме, а затем перейти к более тонкому эксперименту вместо того, чтобы тратить время на ошибку, которая упала ниже этого порога.

Если вы проведете два эксперимента, они остановятся, когда ожидаемые потери будут ниже этой 4%-ой границы. Вы должны использовать значения ваших вариантов, чтобы рассчитать среднюю потерю. Затем вы снова начнете тестирование, используя эти значения в качестве распределения благосостояния.

Байесовское A/B тестирование доказывает, что вы можете принять бизнес-решение, которое не упадет ниже установленной вами границы. 

Вы можете использовать собранные данные для непрерывного запуска тестов до тех пор, пока не увидите увеличение показателей с каждым экспериментом.

Когда вы используете байесовское тестирование, вы можете периодически изменять тест и улучшать результаты по мере выполнения теста. Байесовское A/B тестирование использует постоянные инновации, чтобы дать вам конкретные результаты, внося небольшие улучшения в приращениях. Вам не нужно использовать вывод как результат, но вместо этого используйте его как вариант.

Если вы запускаете сплит-тесты в программном обеспечении или на других каналах, вам не нужно менять их для запуска байесовского A/B теста. Вместо этого вы можете посмотреть на имеющиеся в вашем распоряжении инструменты этого программного обеспечения, чтобы получить более просчитанные результаты. Затем вы можете постоянно запускать эти тесты и анализировать их, чтобы выбрать своих победителей.

Вы можете использовать байесовский A/B тест вместо традиционного A/B теста, если вы хотите учесть больше показателей в своих выводах. Это действительно хороший тест для расчета более конкретной рентабельности инвестиций в рекламу. Конечно, если у вас меньше времени, вы всегда можете использовать частый подход, чтобы получить больше «большой картины».

Какой бы метод вы ни выбрали, A/B тестирование популярно, потому что оно дает вам вывод, который может пригодиться вам в будущих кампаниях.

По материалам сайта: https://blog.hubspot.com.

❤️ Почему этот тест называется «Баесовским»?

Он работает по формуле, выведенной английским математиком, Томасом Баесом.

✔️ Что поможет сделать более точное беаесовское A/B тестирование?

Почитайте о бета-распределении и выборке Томпсона для определения предыдущих значений A и B.

✔️ Что такое распределение вероятностей в баесовском сплит-тесте?

Это набор возможных значений параметра вместе с функцией, сообщающей, насколько вероятен какой-либо отдельный параметр.

❤️ В чем важность баесовского A/B тестирования?

Оно учитывает при анализе результаты прошлых проверок и вероятности, что делает результаты новой проверки более точными.

Опыт маркетологов: самые полезные A/B тесты для сайтов.

опыт маркетологов самые полезные a b тесты для сайтов

Как только вы начинаете тестировать различные элементы ваших маркетинговых кампаний, от текстовой рекламы на платных сайтах до целевых страниц и строк электронной почты, вы понимаете, что лучшие практики A/B тестирования – лишь приблизительный ориентир.

Вы никогда не знаете, что будет работать с вашей аудиторией, пока вы не протестируете это.

Когда я слышу про A/B тесты с удивительными результатами, мне всегда хочется проверить их, узнать, такие ли они полезные и для моих кампаний и настройки сайтов. Поэтому я попросил 23 маркетологов ответить на один вопрос:

Каков самый удивительный или захватывающий результат, которого вы когда-либо достигли в A/B тесте?

Вы можете прочитать их ответы ниже. Я надеюсь, что вы найдете эти тесты такими же полезными и вдохновляющими, как и я! 

Читайте дальше, чтобы узнать, что вы должны тестировать и какие сумасшедшие результаты вы можете ожидать, когда будете делать …

Аарон Леви: где ваша форма находится на целевой странице?

Многие из лучших результатов тестирования AB, которые я проводил в своей карьере цифрового маркетинга, были получены в результате тестирования вещей, которые не обязательно вписываются в лучшие практики. 

Самый захватывающий результат, который я увидел в тесте A/B, пришел от простого перемещения формы на целевой странице со стандартной правой стороны в центр LP.

До слева, после справа. Изображения и цвета удалены для защиты клиента:

лендинг а б тест

Существующая целевая страница была уже довольно тщательно оптимизирована и имела коэффициент конверсии около 11%. Сделав простое изменение и переместив форму в центр, мы смогли увеличить коэффициент конверсии почти на 50% до уровня чуть менее 16%. Неплохо для того, чтобы идти против зерна!

Аарон Леви занимается цифровым маркетингом с 2007 года, проводя дни и много ночей в качестве менеджера по работе с клиентами PPC в поисковом агентстве SEER Interactive в Филадельфии. Он лунно светит как подражатель пивоваров / велосипедистов / хоккейных звезд и пишет обо всем.

А.Дж. Кон: небольшие A/B тесты могут оказать глубокое влияние.

Еще в 2007 году я проверил начальную капитализацию URL в объявлениях Google Ads, ранее известный как Google AdWords, и добился 53% повышения рейтинга кликов. 

Тест был прост. Я создал две точные объявления, кроме URL. В одном я использовал стандарт www.sitename.com, в то время как другой использовал начальную капитализацию и выглядел как www.SiteName.com. Я повторял этот тест много раз и всегда видел положительный подъем.

К сожалению, Google исключил этот тип отображения URL. Однако в то время он подтвердил, что небольшие изменения могут оказать глубокое влияние, и заинтересовал меня тем, как пользователи «смотрят» на результаты поиска. 

AJ Kohn — владелец Blind Five Year Old, фирмы по интернет-маркетингу в Сан-Франциско, специализирующейся на поиске. Он опытный менеджер по маркетингу с успешным послужным списком, охватывающим 20 лет. AJ сочетает глубокое понимание поискового маркетинга со страстью к стратегии и итеративной разработке продукта. Он объединяет дизайн и пользовательский опыт с количественным анализом. 

Брэд Геддес: ваши A/B тесты не должны быть идеальными.

Я работал с клиентом, у которого была ужасная целевая страница. Она не была хорошо разработана, и вам пришлось нажать на кнопку, чтобы перейти на ужасную страницу формы для преобразования. 

Я умолял их создать новую страницу и, по крайней мере, поместить чистую форму на целевую страницу. Они вернулись со страницей, которая все еще не была красивой, и их ужасная форма была просто встроена в страницу. Новая версия увеличила прибыль сайта на 76%.

Вот тогда мой перфекционистский мозг понял: не нужно быть идеальным. Чтобы достичь больших результатов, все, что вам нужно сделать, это лучше, чем вы есть в настоящее время. 

Брэд Геддес — основатель Certified Knowledge, платформы для обучения и инструментария PPC. Он является автором Advanced Google AdWords и официальным руководителем семинара Google AdWords. 

Брэд Шорр: небольшие изменения меняют значение.

Что касается рекламы PPC, мы никогда не перестанем удивляться тому, как небольшие изменения в акценте могут привести к огромному улучшению количества переходов по ссылкам. Вот пример с прошлой недели. Мы проверяли эти призывы к действию:

A. Получите 10 $ с первой покупки. Бронируйте онлайн сейчас!

B. Получи дополнительно 10 долларов. Бронируйте онлайн сейчас. 

CTR удвоился с опцией B. Просто для справки, мои деньги были на A.

Брэд Шорр — директор по контенту и социальным сетям Straight North агентства интернет-маркетинга с полным спектром услуг, расположенного в Чикаго. Он часто пишет о SEO, копирайтинге и контент-маркетинге.  

Крис Костецки: больше шагов, не меньше!

Самое удивительный результат, который я получил от A/B-теста, был, когда я тестировал 2 целевые страницы. Элемент управления добавлял в корзину параметры по сравнению со страницей, которая позиционировала продукт, но находилась на расстоянии одного клика от фактического продукта. 

У него был более высокий коэффициент конверсии + 18% при достигнутой статистической значимости 95% и более высокий AOV. Это помогло нам понять, где мы привлекали трафик в процессе покупки. В результате мы смогли использовать полученные данные, чтобы лучше позиционировать другие продукты перед продажей.

Крис Костецки работает в поиске с 2006 года, а в маркетинге с 1997 года. Он создал продукт PPC для малого бизнеса в дополнение к продукту каталога Yellow Page, а также работал менеджером PPC в агентстве, обслуживающем клиентов электронной коммерции, до того, как занял свою нынешнюю должность. поиск аналитик — хаус в  Keurig Inc. 

Crystal O’Neill: не стоит недооценивать ценность великой прессы!

У нас был клиент, показанный на «Доброе утро, Америка», «GMA». Мы хотели использовать авторитет и прессу из шоу. Мы решили сначала провести А/B тестирование рекламы в наших фирменных кампаниях с лозунгом «Популярные на доброе утро в Америке» по сравнению с нашим обычным объявлением с лозунгом «Официальный сайт». 

Объявления с слоганом GMA выиграли для CTR и коэффициента конверсии. В этом нет ничего удивительного — мы ожидали, что эти результаты обеспечат доверие и признание GMA.

Основываясь на этом первоначальном A/B тесте, мы развернули аналогичные проверки для наших некоммерческих кампаний. Почти во всех тестах реклама «Featured on GMA» снова выиграла. Опять же, не слишком удивительно.

Вот удивительная часть. Сегмент GMA транслировался почти 3 года назад, и после многих раундов A/B тестирования варианты рекламы, содержащие «Featured on GMA», продолжают оставаться наиболее эффективными. Вот пример недавних результатов объявления:

пример результатов объявления

Кристал Андерсон О’Нил является руководителем подразделения PPC в  интерактивном агентстве  SEER , расположенном в Филадельфии. Она начала свою карьеру в PPC в начале 2006 года и управляла международными счетами PPC в разных платформах и отраслях, с ежемесячным бюджетом от четырех до шести цифр. 

Фрэнсис Шовлин: тестирование новой кнопки призыва к действию.

Получилось поднять конверсию, просто протестировав новую кнопку призыва к действию. Для этого клиента у нас не было ресурсов для создания и тестирования всех новых страниц. Мы решили попробовать разделить трафик между двумя разными дизайнами кнопок.

а б тест два варианта цвета кнопки

Мы провели A/B тест всего за семь недель, и в итоге смогли повысить коэффициент конверсии форм на 11%.

результат а б теста цвета кнопки

Мой совет: никогда не забывайте проверять самые маленькие элементы. Вы можете легко увеличить свои конверсии и доход даже при ограниченных ресурсах.

Фрэнсис Шовлин последние 2 года – менеджер по работе с клиентами PPC в интерактивной команде SEER. 

Грег Мейерс: длинная форма конверсии бьет короткую форму конверсии.

Я видел много интересных результатов A/B-тестирования за эти годы, в том числе несколько, которые противоречили бы многим очевидным методам оптимизации. Тем не менее, был один случай, когда «чрезмерное содержание» одержало верх над «удобством использования и конверсией». 

Я обратился к одному из моих клиентов по маркетингу в PPC с просьбой создать новую целевую страницу, которая включала бы «гибридную модель», состоящую из наиболее важных аспектов продукта, который они продавали. 

Это было удивительно трудно продать клиенту. Он сказал мне, что, хотя он понимает стратегию, его аудитория скорее будет читать десятки страниц, чем все это в компактном, легко читаемом и удобном для монетизации формате.

Конечный результат: новая целевая страница имела более высокий показатель отказов и меньшую конверсию по сравнению с существующей. Этот опыт преподал мне один урок. Продолжайте A/B тестирование и слушайте своих клиентов !!!!

Грег Мейерс является основателем Afterclicks Interactive и автором SemGeek.com.

Джефф Аллен: целевая страница рабочего стола превосходит целевую страницу для мобильных устройств.

Настольная версия целевой страницы значительно превзошла целевую страницу для мобильных устройств в месячный тест A/B. Версия для настольных компьютеров конвертировала трафик в число потенциальных клиентов примерно на 15%, в то время как страница для мобильных устройств – примерно на 11%. Это просто доказывает, что вы должны тестировать все, и это распространяется на внедрение лучших практик.

Джефф Аллен работает в интернет-маркетинге с мая 2000 года. Он руководил разработкой собственной платформы электронного маркетинга, руководил более чем 12 миллионами потенциальных клиентов, участвовал в двух слияниях, а его работа привела к многомиллионной продаже агентство. Сейчас он работает в Hanapin Marketing. в качестве директора по работе с клиентами и является ведущим участником их блога, PPCHero.com.

Джо Кершбаум: не поддавайтесь желанию следовать передовому опыту.

Со временем я узнал, что A/B тестирование наполнено сюрпризами. Вы можете создать гипотезу, основанную на многолетнем опыте и сотнях успешных тестов, но результаты предсказать невозможно, особенно если в них участвуют люди – посетители сайта.

Мы работали с клиентом электронной коммерции, который разработал новую целевую страницу. Эта новая страница была великолепна, и мы были на 100% уверены, что она увеличит показатели конверсии в геометрической прогрессии. Тем не менее, старая страница выиграла тест A/B. Эта старая страница имела плохую графику, непонятный макет, небольшую и плохо написанную копию – и это всего лишь несколько недостатков страницы.

Первоначально мы хотели просто перейти на новую страницу. Вот как мы были уверены в новой странице. Мы были рады, что этого не сделали, потому что у нас не было бы такого большого и расстраивающего опыта обучения.

Джозеф Кершбаум – вице-президент и управляющий партнер агентства по поиску и социальной рекламе Clix Marketing. Джозеф является постоянным докладчиком на поисковых и рекламных конференциях, таких как SES и SMX. 

Джон Доэрти: А/B тесты могут выявить настроение посетителей.

Самые удивительные результаты, которые я когда-либо получал от A/B теста, были при тестировании конверсионной воронки на сайте. Мы думали, что предоставление пользователям возможности выбраться из воронки приводит к значительному падению. Поэтому мы хотели посмотреть, поможет ли людям конвертировать удаление навигации.

На самом деле произошло то, что пользователи почувствовали себя в ловушке, и наш показатель отказов поднялся до небес! Таким образом, на самом деле, предоставляя людям возможность свободно перемещаться от воронки, у нас был более высокий коэффициент конверсии, чем когда мы их ограничивали! 

Джон Доэрти — руководитель офиса и старший консультант по SEO в Distilled New York City. Имея опыт работы в области технического письма и веб-разработки, он любит все технические и увлекательные вещи.  

Джон Ли: устаревший беспорядок на целевой странице побеждает «идеальную» страницу.

В течение последних нескольких лет наш клиент сотрудничал с одним из наиболее авторитетных агентств по оптимизации целевых страниц. Для одного из проектов целевая страница, которая нуждалась в обновлении, была действительно довольно плохой. 

Там были устаревшие, плохие призывы к действию и настоящий беспорядок. Агентство по оптимизации вернулось с прекрасной целевой страницей, которая попала в нужное место с точки зрения конверсионно-ориентированного дизайна. 

Мы сравниваем две страницы друг с другом в тесте A/B. Ужасная страница против Прекрасной страницы. Давид против Голиафа. Через несколько месяцев мы снова попробовали тест с теми же результатами. Какая страница выиграла тест A/B? 

Мы точно не понимали, почему нежелательная целевая страница была победителем. Инстинкт каждого в этой ситуации заключался в том, чтобы просто перенести все наши объявления на новую целевую страницу без тестирования A/B. 

Рад, что мы не сделали!  Это открыло мне глаза на тот факт, что вы ВСЕГДА должны проверять — просто чтобы быть уверенным.

Джон Ли — директор по обслуживанию клиентов в Clix Marketing, агентстве SEM, а также частый блогер и спикер по всем вопросам рекламы на PPC, дисплеях и в социальных сетях.

Ларри Ким: A/B сплит тест всех аспектов вашего бизнеса!

Три примера А/В тестов:

  1. Ответы в FAQ. Мы протестировали удаление всего постороннего содержимого часто задаваемых вопросов, которое появляется ниже сгиба, чтобы увидеть, как это повлияло на коэффициент конверсии при регистрации. Выиграл вариант, который содержал FAQ из 2000 слов ниже сгиба.
  2. Грейдер AdWords. Этот инструмент работает так, что вы просто входите в свою учетную запись Google Ads, а мы анализируем ее эффективность. Затем мы предоставляем вам отчет, который показывает сильные стороны сайта, а также области, где нужно улучшиться. Недавно мы обновили механизм входа в учетную запись, чтобы использовать недавно выпущенный OAUTH. Это механизм проверки подлинности учетной записи Google Ads. Думали, что так мы оценим больше учетных записей Google Ads. Но тест A/B провалился. Новая супер-безопасная аутентификация Google Ads на основе OAUTH работала довольно плохо. Возможно, потому что она добавила шаги в процесс регистрации. Мы вернулись к обычному безопасному входу в Google Ads.
  3. A/B тест для пробной версии программы. Моя компания продает программное обеспечение для управления PPC. Есть возможность подписаться на бесплатную 7-дневную пробную версию. Мы получили некоторые жалобы, что 7 дней не хватило, чтобы проверить продукт. Мы расширили испытания на разные промежутки времени, например, 14 дней, 30 дней и т. д. Мы измерили процент потенциальных клиентов, с которыми наша организация по продажам может заказать демонстрацию. Обнаружили, что на самом деле показатели подключения упали. Итак, мы вернулись к 7-дневной пробной модели. Может быть, они нашли более длительный судебный процесс подавляющим?

Пожалуйста, имейте в виду, что я не говорю, что вы должны принять любой из вышеперечисленных результатов испытаний A/B тестов для вашего бизнеса. То, что работает для нас, скорее всего, не то же самое, что работает для вашей организации. 

Ключевым моментом здесь должны быть непредубежденность и предоставление данных, которые подскажут вам, что делать.

Важно не слушать самопровозглашенного гуру или, в некоторых случаях, даже ваших клиентов, который говорят, что что-то должно быть сделано определенным образом.

Ларри Ким является основателем и техническим директором WordStream , Inc., провайдера 20-минутной рабочей недели PPC и WordStream Advisor , отмеченной наградами платформы управления PPC.

Мэтью Умбро: сплит тестирование кнопок по цвету.

Мы создали кампанию ремаркетинга, ориентированную на потерянные продажи или тех, кто отказался от корзины. Мы разработали два разных набора объявлений, которые были в основном одинаковыми. Все, включая шрифт, предложение и изображения, все идентичны. Единственным отличием был цвет кнопки «Купить сейчас». 

В одном наборе рекламы использовалась серая кнопка, а в другом — ярко-зеленая. Мы вращали рекламу равномерно в течение двух недель и были очень взволнованы результатами. Набор объявлений с зеленой кнопкой конвертируется в три раза быстрее!

Кроме того, рейтинг кликов по зеленым кнопкам был значительно выше, чем у серых. Зеленый цвет позволил рекламе выделиться намного больше, что позволило большему количеству потерянных продаж увидеть наше отличное предложение. Идея выделиться в контекстно-медийной сети была полностью подтверждена в этом тесте.

Мэтью Умбро — директор платного поиска в Exclusive Concepts . Он работает в индустрии PPC с 2007 года, работая с более чем 100 клиентами в разных отраслях, чтобы получить рентабельную рентабельность инвестиций и улучшить лидерство. 

Меган Лип: вызов традиционной мудрости маркетинга.

Один из самых удивительных результатов A/B теста, который я видел: когда целевая страница с копией, ориентированной на выгоду, проиграла странице, ориентированной на продукт. 

Как мы все знаем, сообщение, ориентированное на выгоды, является критически важным элементом успешного маркетинга. Тем не менее, в этой одной кампании посетители действительно хотели узнать особенности продукта, который мы продавали. 

Поэтому, в зависимости от вашей целевой аудитории, потока трафика, сообщения вашей рекламы, вашего продукта и т. д., для вас может иметь смысл сосредоточиться на функциях, а не на преимуществах. Но вы не узнаете об этом, пока не протестируете. Если вам интересно, наш следующий тест состоял из функций и комбинированных преимуществ / возможностей, и новый тест победил.

Меган Лип возглавляет отдел маркетинга и контента в Институте онлайн-маркетинга, наиболее надежном источнике образования и обучения в области цифрового маркетинга. 

Мишель Морган: A/B тестирует выдуманные слова!

Мой самый удивительный A/B тест не был результатом очень креативной стратегии. Это произошло в основном из-за разочарования и упрямства. Изменения в законах о маркетинге для одного из моих ведущих клиентов сделали незаконным использование слова «Применить» в рекламном тексте, потому что технически клиенты не применяли на этом этапе. 

Поработав в течение месяца или около того, чтобы найти синоним для «Применить», который работал почти так же хорошо. Я решил придумать слово «PreApply». И да, я использовал эту заглавную букву. Удивительно, но CTR и коэффициент конверсии увеличились на 27% и 11% соответственно, а CPA снизился на 8%. 

Я не уверен, чувствовали ли клиенты, что они делают меньший первый шаг, или был какой-то другой привлекательный фактор, но это работало. В конце концов, изменение в законе о рекламе фактически привело к увеличению производительности и довольности клиента. 

Мишель Морган — специалист PPC по маркетингу Clix. 

Оли Гарднер: A/B тестирование e-mail против твитов.

Один из самых забавных и удивительных тестов A/B, который мы провели, заключался в том, чтобы предложить электронную книгу в обмен на адрес электронной почты или твит при распределении трафика 50/50.

Это был тест с двойной целью: разделив его таким образом, мы получили ссылки с одной страницы и продолжили вирусную экспозицию на другой. Твиты отправляют людей обратно на целевую страницу, где они могут получить книгу и повторить цикл.

Версия электронной почты конвертирована в 22% против 18% для оплаты с версией твита. Спрашивая людей через встроенный опрос, какой механизм они бы предпочли, 45% ответили, что пишут по электронной почте. Я слегка растерялся, когда электронная почта выиграла тест A/B.

Мы решили запустить 3-й тест, где у нас была одна страница с одинаковыми двумя вариантами. Мы могли видеть, как соотносятся числа, когда у людей действительно был выбор. Несмотря на близкие результаты как в опросе, так и в первоначальном тесте A/B, результаты финального теста были шокирующими.

Результат: в новом тесте 85% людей решили указать свой адрес электронной почты.

Извлеченный урок: Никогда не думайте, что даже ваши первоначальные результаты теста верны. Продолжайте пробовать новые гипотезы, пока не узнаете правду.

Оли Гарднер является соучредителем и креативным директором в Unbounce, DIY Landing Page Platform. 

Перри Маршалл: самые примитивные тесты наиболее удивительные.

Самым удивительным для меня в A/B тестировании было то, что я могу легко получить 10-кратный результат, делая «глупые» вещи. Например:

а б тест поменяли две строки местами

Единственная разница в том, что они меняют строки 2 и 3, вот и все.

Кто-то может никогда не знать точную причину, почему, но моя теория заключается в том, что второе объявление ставит преимущество первым. Прежде чем оно сообщит вам форму, в которой вы получаете преимущество. Это имеет для меня большой смысл.

Вот еще один пример:

Как написать книгу, быстро за
14 дней от начала до конца.
Уникальная,
пошаговая программа Write-A-Book-Faster.com
4.40% CTR

Как написать книгу быстро за
14 дней от начала до конца.
Уникальная,
пошаговая программа Write-A-Book-Faster.com
4,12% CTR

Можете ли вы сказать разницу между двумя объявлениями? Эта пара объявлений Google показывает, как даже  запятые  между словами имеют ощутимую разницу в вашей нижней строке. Разница фактически составляет около 8%, что в данном конкретном примере составляет, вероятно, около 500 долларов в год.

Чикагская компания Perry Marshall, Perry S. Marshall & Associates, консультирует как онлайновые, так и рядовые компании по вопросам привлечения потенциальных покупателей, веб-трафика и максимизации результатов рекламы. 

Райан Хили: добавление приветствий в вашу рекламу.

Я всегда слышал, что приветствие сообщения о продаже может оказать большое влияние на конверсии, поэтому я решил протестировать его на одной из моих собственных страниц продаж. A/B тест был очень прост: одна версия включала приветствие «Дорогой друг», а другая нет.

версия без приветствия дорогой друг конвертировалась лучше а б тест


Я ожидал небольшую разницу между двумя версиями, но я не ожидал такого большого результата, как я получил. Версия без «Дорогой друг» конвертировалась на 28,2% лучше, чем оригинальная версия с приветствием.

Райан Хили — копирайтер с прямым откликом. С 2002 года он работал с множеством клиентов, включая Алекса Мандосяна, Терри Дина и Pulte Homes. Он пишет популярный блог о копирайтинге, росте бизнеса и создании продуктов.

Шон Квадлин: A/B тестирование для оптимизации коэффициента конверсии.

Самый удивительный результат, который я когда-либо встречал в A/B тесте, был, когда я выполнял оптимизацию коэффициента конверсии. 

Мы создали несколько разных целевых страниц для PPC, которые имели разные макеты: новые изображения, встроенный видеоконтент, новые заголовки, разные цвета шрифтов. Мы публиковали новый и интересный контент, и он каждый раз вытеснялся базовой страницей, которую мы так отчаянно пытались вытеснить.

Это ситуация, которая может быть описана любым количеством народных высказываний: «Если это не сломано, не исправляйте это».

Шон Квадлин — менеджер по работе с клиентами в Hanapin Marketing и автор на PPCHero.com. 

Шон Livengood: размеры кнопки целевой страницы A/B тестирования.

Самый удивительный результат, который я когда-либо видел в A/B тесте, включал тест целевой страницы. Я сделал его для сайта торговой площадки, который измерял регистрацию новых участников в качестве события конверсии. 

Все целевые страницы PPC были закодированы вручную и, в основном, служили начальной страницей процесса регистрации, предоставляя некоторые основные пункты о преимуществах сервиса и кнопку «Начало работы». Она направляла на страницу регистрации. 

Мы провели множество тестов с текстовым содержимым и изображениями, и ничего не изменилось. Затем мы сделали кнопку больше и увидели огромный лифт. Итак, мы сделали кнопку еще больше. Еще один успех!  Мы пошутили, что если мы будем продолжать в том же духе, то наша целевая страница окажется гигантской кнопкой регистрации, на которой больше ничего нет.  

Самым удивительным в этом A/B тесте было влияние макета страницы на конверсию. Мы протестировали множество различных предложений, формулировок и цветов макета безрезультатно. 

Всегда убедитесь, что ваш пользователь знает, каким будет следующий шаг в процессе конвертации. Сделайте его более понятным, чем вы думаете, и вы увидите хорошие результаты.

Шон Ливенгуд — менеджер по интернет-маркетингу на BuildASign.com и автор блога PPC «Без жалости». Будучи менеджером по онлайн-маркетингу, Шон отвечает за разработку общей стратегии онлайн-маркетинга для нескольких брендов и микросайтов BuildASign.com, управляет каналами PPC, SEO, социальных сетей, электронной почты и партнерского маркетинга, а также поддерживает и улучшает всю веб-аналитику платформ.

Тодд Минц: тестирование фирменных динамических рекламных вставок ключевых слов.

В конкретной учетной записи PPC у меня была одна кампания, ориентированная на сотни брендов по вертикали продавца. В заголовке объявления говорилось что-то вроде: «Скидка 50% на виджеты».

Мне не разрешалось использовать торговые марки в тексте объявления. Урожай в кампании был настолько низким, что почти полностью скрылся от моего радара. Мы решили проверить A/B, используя названия брендов в заголовке.

Поскольку в кампании было так много брендов, я решил, что самым быстрым способом проверки концепции является изменение заголовка для многих сотен групп объявлений на:

Скидка 50% {KeyWord: Бренд}.

В то время бюджет этой кампании был в основном не ограничен, пока я соответствовал определенным показателям CPA.

За ночь эта кампания вызвала столько конверсий, что я подумал, что что-то не получилось в Google Ads. Показатель увеличился почти с нуля до самой эффективной кампании в аккаунте примерно в 4-5 раз.

В конечном счете, мне не нужно было тратить время на настройку заголовков рекламы … это было не нужно.

Тодд Минц, работающий в PPC Associates с марта 2011 года, имеет более чем 10-летний опыт работы в поисковом маркетинге и с момента своего появления использует Google Ads. 

Том Демерс: A/B тестирует небольшие изменения для больших побед.

Большую часть времени я вижу большие структурные изменения на странице, которые приводят к самым большим выигрышам. Поэтому, когда сравнительно небольшая настройка дает большой импульс в конверсии, я всегда нахожу это действительно удивительным и интересным.

Ниже приведены некоторые основы A/B теста, который мы провели. Сначала мы увидели начальную контрольную страницу, которую настроил клиент. Мы узнали, что помимо значков доверия, как видно из журналов, ассоциаций и т. д. под формой есть еще несколько других. Они, как мы думали, передают даже больше доверия и авторитета. 

У клиента было относительно новое и неизвестное предложение, поэтому мы подумали, что загрузка символов доверия, как только посетитель достигнет страницы, поможет конвертации и хочет добавить дополнительные символы на страницу.

а б тест символы доверия

Сначала мы создали вариант А, в котором использовались дополнительные символы доверия над сгибом в сочетании с заявлением о выгоде, и удалили «выстрел героя», который был на его месте. Он, казалось, мало что передавал посетителю.

Вариация А теряется на несколько процентов по сравнению с существующей целевой страницей.

Мы все еще думали, что дополнительные значки доверия могут обеспечить подъем, если реализованы должным образом. Поэтому мы создали вариант B. Там «герой стрелял» выше сгиба, и вместо этого включили новые значки доверия в расширенный раздел доверия чуть ниже формы. Мы также реорганизовали значки доверия, чтобы новые, более весомые значки выделялись в этом разделе.

Вариант B, в котором мы просто добавили несколько новых значков в раздел страницы, на котором уже есть некоторые, выиграл на 367%! Мы были удивлены результатом, но также и степенью, в которой небольшая настройка повлияла на конверсию. В то же время довольно существенное изменение страницы не только потеряло с довольно небольшим запасом.

Том Демерс  является соучредителем и управляющим партнером в  измеренном маркетинговом консалтинге по поисковому маркетингу Measured SEM.

Твоя очередь: Какой твой самый удивительный A/B тест?

Что вы думаете о вышеупомянутых A/B тестах? Что было самым удивительным для вас? Поделитесь своей лучшей историей A/B тестирования в комментариях ниже!

По материалам сайта: https://www.wordstream.com.

❤️ Что еще можно исследовать в A/B тестировании?

Все элементы сайта и их дизайн от вариантов фотографий до цвета и величины текста в блоках.

❤️ Что такое PPC?

Это способ показа рекламы, когда оплата производится за клик.

💵 Что значит «сплит»?

Это сравнение элементов с тестовой группой. При этом изменяется один или несколько показателей.

💵 Что имеется в виду под конверсией?

Это соотношение посетителей сайта, совершающих определенные действия от переходов до оформления покупок к тем, кто просто посетил ресурс для ознакомления.

Как запустить A/B тест в Google Analytics. A/B тестирование.

как запустить аб тест в гугл аналитикс аб тестирование

Дизайн не всегда получается таким, каким был задуман. Макет выглядит хорошо, выбор цвета кажется отличным, и баланс CTA умный и ясный. Но… Это не работает. Все это или некоторые элементы и нюансы. Вы не совсем уверены, но что-то нужно добавить.

Несмотря на все благие намерения, включая все часы исследований и анализов, все не всегда получается так, как запланировано. Вот тут-то и начинается постоянное тестирование. Одной попытки может быть недостаточно.

Еще важнее то, что ваши усилия настроить А/B тестирование не должны быть сложными и отнимающими много времени. Вот как настроить сплит-тест в Google Analytics всего за несколько минут.

Что такое эксперименты по контенту Google Analytics?

Допустим, ваш интернет-магазин продает поздравительные открытки с мопсом. Очевидно, что они должны продать себя. Но давайте просто на мгновение предположим, что продажи низки, потому что у вас возникают проблемы с тем, чтобы люди сначала попадали на отдельные страницы продуктов.

Ваша домашняя страница не является пунктом назначения – это отправная точка. Приходят заглянуть, осмотреться и щелкнуть где-нибудь еще. Чаще всего посетители заходят на ваши страницы товаров, услуг или на страницу About.

Независимо от того, куда именно кликают читатели, цель состоит в том, чтобы как можно быстрее направить их в воронку или путь: А – помочь им найти то, что они искали, а также Б – приблизить их к запуску одного из ваших конверсионных событий.

Волшебство происходит на целевой странице, где эти две вещи — интерес посетителя и ваша маркетинговая цель — переплетаются и становятся единым целым в прекрасной симфонии.

Итак, давайте попробуем несколько вариантов домашней страницы, чтобы увидеть, какие из них лучше всего привлекают новых посетителей в ваши самые продаваемые продукты. У одного есть видео, у другого нет. Один короткий и лаконичный, другой длинный и подробный. У одного есть GIF, у другого нет.

Новый входящий трафик распределяется между этими вариантами страниц. Это позволяет вам наблюдать и сравнивать количество людей, выполняющих желаемое действие, пока вы не сможете с уверенностью объявить лучший вариант оформления. 

Выполнение простого сплит-теста, подобного этому, — это оптимизация целевой страницы 101. Там вы определяете конкретные переменные страницы, которые приводят к наилучшим результатам для вашей аудитории, и умножаете их на своем сайте. Google Analytics поставляется с базовой функцией экспериментов с контентом. Она позволит вам:

  • сравнивать различные варианты страниц,
  • соответствующим образом разделять трафик,
  • получать по электронной почте обновленную информацию о тенденциях результатов и о том, собираетесь ли вы достичь поставленной цели или нет.

Но … технически это не простой тест А/Б. Это на самом деле хорошо. Почему контентные эксперименты могут быть лучше, чем традиционные А/Б тесты?

Ваш типичный A/B тест выбирает очень специфический элемент страницы, такой как заголовок. Он изменяет только эту крошечную переменную в новых вариантах страницы.

В этой сети полно статей, в которых переключение цвета кнопок привело к увеличению CTR на 37,596% *, потому что людям нравятся зеленые кнопки вместо синих.

(* Это выдуманные цифры)

Несколько проблем с классическим A/B тестом в Google Analytics.

Во-первых, крошечные изменения часто возвращаются к среднему значению. Таким образом, хотя вы можете увидеть несколько небольших колебаний при первом запуске теста, небольшие изменения обычно равны только небольшим результатам.

маленькие изменения проблема аб тест гугл аналитикс

Вторая проблема заключается в том, что большинство А/Б тестов не проходят.

И если этого было недостаточно, то третья проблема заключается в том, что вам понадобится тонна объема, в частности, 1000 ежемесячных конверсий для начала и тестирование не менее 250 конверсий, чтобы определить, действительно ли эти изменения работают или нет.

В экспериментах по контенту Google Analytics вместо этого используется модель A / B / N. Это похоже на шаг между A/B тестами только с одной переменной и многомерными тестами с координированными несколькими переменными.

После того, как я набрал это последнее предложение, я понял, что только хардкорные фанаты CRO позаботятся об этом различии. Однако по-прежнему важно понимать с высокого уровня, чтобы вы знали, какие типы изменений нужно вносить, пробовать или тестировать.

Вы можете создать до 10 разных версий страницы, каждая со своим уникальным контентом или изменениями. Другими словами, вы можете протестировать материал с большим изображением.

Например: «Приводит ли положительное или отрицательное значение Pug к большему количеству кликов?»

Как правило, эти целостные изменения могут быть более полезными. Они помогают вам выяснить, какие сообщения или элементы страницы вы можете перенести на другие ваши маркетинговые материалы, такие как электронные письма, социальные сети и многое другое.

Вы можете использовать Эксперименты с контентом Google Analytics, чтобы выполнять более быстрые итеративные изменения и изучать The-Go. Вот как начать.

Как настроить эксперименты Google Analytics.

Настройка экспериментов с содержимым занимает всего несколько секунд. Однако, перед входом в систему вам потребуется настроить как минимум один или два варианта страницы. Эта тема выходит за рамки этой области, поэтому проверьте один и другой, чтобы определить, что именно вы должны тестировать в первую очередь.

Когда вы уже настроены и готовы к работе, войдите в Google Analytics и начните действовать по следующим этапам.

Шаг 1. Начало.

Глубоко в разделе «Поведение» Google Analytics — вы знаете, то, что вы игнорируете при переключении между Приобретением и Конверсиями, — это смутное, но безобидное звучание «Эксперимент».

Скорее всего, при нажатии на него вы увидите пустой экран, который выглядит следующим образом:

эксперимент начало аб тест гугл аналитикс

Чтобы создать первый эксперимент, нажмите кнопку «Создать эксперимент» в левом верхнем углу окна.

Давайте посмотрим, как выглядит создание.

Шаг 2. Выберите эксперимент.

Хорошо, теперь веселье начинается. Назовите свой эксперимент, как угодно. И посмотрите вниз на выбор цели. Здесь вы можете установить идентифицируемый результат, чтобы отслеживать результаты и определять выигрышный вариант.

контент эксперимент аб тест

У вас есть три варианта здесь. Вы можете:

  • Выбрать существующую цель, например, подписки, покупки и т. д.;
  • Указать показатель использования сайта, например, показатель отказов;
  • Создать новую цель или цель, если у вас ее еще нет, но вы хотите провести эксперимент на основе конверсий.

Выбор полностью зависит от того, почему вы проводите этот тест в первую очередь.

Например: большинство удивлены тем, что их старые посты в блогах часто приносят больше всего трафика. Проблема? Много раз те старые, устаревшие страницы также имеют самые высокие показатели отказов.

Перейдите к: «Поведение»> «Вторичные измерения» + «Google / Organic»> «Популярные просмотры страниц»> «Показатель отказов».

Вот пример:

показатель отказов аб тест

Вот несколько других полезных отчетов Google Analytics, которые позволят вам обнаружить такие же низкие результаты, когда вы закончите настройку эксперимента.

Давайте пока выберем показатель отказов в качестве цели.Так мы сможем вносить изменения в макет страницы или увеличивать объем и количество высококачественных визуальных элементов.

После выбора цели вы можете нажать на «Дополнительные параметры», чтобы получить более детальные настройки для этого теста.

дополнительные параметры аб тест

По умолчанию эти расширенные параметры отключены, и Google будет «динамически регулировать трафик в зависимости от производительности вариантов». Однако, если он включен, ваш эксперимент будет:

  • просто равномерно распределять трафик по всем добавляемым вами вариантам страниц,
  • проводить эксперимент в течение двух недель,
  • получать статистический уровень достоверности 95%.

Это все хорошие места для запуска в большинстве случаев, однако вы можете изменить длительность в зависимости от того, сколько трафика вы получаете. То есть, вы можете уйти с более короткими тестами, если на этой странице будет тонна трафика, или если вам понадобится, продлите его дольше, чем на две недели. Это нужно, когда есть только медленная струйка посетителей, а не бурный поток.

Все идет нормально!

Шаг 3. Настройте свой эксперимент.

Следующим шагом будет просто добавить URL-адреса для всех вариантов страницы, которые вы хотите протестировать.

Буквально просто скопируйте и вставьте:

урл адреса аб тест

Вы также можете дать им полезные имена для запоминания. Или нет. Он просто нумерует варианты для вас.

Шаг № 4. Добавление кода скрипта на вашу страницу.

Теперь любимая часть каждого пользователя — редактирование кода вашей страницы!

Хорошей новостью является то, что первое, что вы увидите в этом разделе, — это полезная кнопка-переключатель, которая просто отправляет весь этот надоедливый код вашему любимому техническому специалисту.

Если вы хотите испачкать руки, читайте дальше.

работа с кодом аб тест

Прежде всего, дважды проверьте все страницы, которые вы планируете тестировать. Так вы убедитесь, что установлен код отслеживания Google Analytics по умолчанию. Если вы используете CMS, так и должно быть, как обычно изначально добавляется для всего сайта.

Затем выделите и скопируйте предоставленный код.

Вам нужно будет найти открывающий тег заголовка в оригинальном варианте, который должен быть расположен буквально в верхней части HTML-документа. Выполните поиск, чтобы упростить его:

поиск тега аб тест

После этого нажмите «Следующий шаг» в Google Analytics, чтобы они убедились, что все в порядке. Не уверены, правильно ли вы сделали? Не волнуйтесь, они скажут тебе.

Например, когда я впервые попробовал установить код для этой демонстрации, я случайно поместил его под обычным кодом отслеживания Google Analytics, на который они так старательно и четко указали.

пример ошибки аб тест

После двойной проверки вашей работы и исправления вы должны увидеть это:

завершение аб тест гугл аналитикс

И теперь вы готовы к работе!

Видите, теперь все оказалось не так плохо ?!

Вывод по работе с А/Б тестом.

Веб-сайты никогда не бывают действительно доработанными и завершенными. Им нужна итерация, включая постоянный анализ, новые идеи и изменения, чтобы постоянно увеличивать результаты.

Часто это означает анализ и тестирование целых страниц на основе больших и незначительных изменений, таких как ценностные предложения или макеты. Это то, что даст такие же большие результаты.

Оптимизация целевой страницы и методы сплит-тестирования могут стать чрезвычайно уверенными и потребовать специальных инструментов, по которым могут ориентироваться только профессионалы CRO.

Google Analytics включает в себя свой собственный простой вариант раздельного тестирования в контент-экспериментах.

Предполагая, что у вас уже есть созданные новые варианты страниц, и вы спокойно можете редактировать код своего сайта. Это занимает всего несколько секунд перед началом работы. И они могут позволить любому сотруднику вашей организации перейти от исследований к действиям к концу дня.

По материалам сайта: neilpatel.com

✓ Для чего еще можно применят A/B тест в Google Analytics?

С его помощью можно узнать, на что посетители реагируют лучше всего. A/B тест позволяет оценить взаимодействие с аудиторией, узнать, из каких источников больше всего посетителей и персонализировать сайт под источники трафика.

Когда применяют А/В тестирование?

A/B тест делают как при создании сайта с нуля, так и при внесении изменений на уже существующих страницах. Можно заранее проверить, будут ли новшества эффективными или какой из вариантов привлечет больше целевой аудитории.

✓ Как работать с гипотезами, когда их несколько?

Лучше тестировать гипотезы по одной. Это поможет оценить эффективность каждой. Если запустить сразу несколько, будет не понятно, какая из них дала нужные результаты.

✓ Сколько должно длиться A/B тестирование в Google Analytics?

Слишком короткое тестирование может не показать реальных результатов.