A/B тестирование - что это и зачем нужно

A/B тестирование - что это и зачем нужно

Основная цель существования любого коммерческого сайта - конверсии. Для поддержания роста конверсионных действий на посадочные страницы необходимо вносить изменения. Но не все правки оказывают явный положительный эффект на онлайн-продажи или регистрации пользователей. Понять, точно ли стоит ли менять дизайн и контент ресурса, поможет A/B тест.

Что из себя представляет тестирование

A/B тест, или сплит-тестирование - прикладной инструмент маркетинга, который используется для проверки гипотез о влиянии тех или иных элементов веб-страницы на поведение пользователей.

На деле тестирование выглядит так. Отдел маркетинга предполагает, что перенос CTA кнопки из нижнего правого угла экрана в верхний левый угол увеличит уровень конверсии с текущих 3% до 5. С помощью специальных инструментов, например, Google Optimize, трафик сайта разделяется на два потока. Одной части посетителей показывается старый вариант страницы, а другой - новый, с перемещенной кнопкой. Далее анализируются показатели конверсии по обеим группам. Если CRO пользователей, направленных на новую страницу, действительно стали выше - эксперимент признают удачным. Дизайн сайта обновляется.

При проведении теста важно соблюдать ряд правил.

  1. Изменения проверяются на небольшой части аудитории - 5-10% от общего трафика. Это делается для того, чтобы в случае неудачи не было резкого проседания конверсии. При средней посещаемости сайта в 120000 человек за месяц контрольной группы из 12000 пользователей будет достаточно.
  2. Для проведения эксперимента сайт должен иметь достаточно большой и стабильный трафик. Данные, полученные на малых цифрах, могут быть недостоверны.
  3. Перед началом теста нужно накопить статистику по конверсиям в долгосрочном периоде, чтобы вывести репрезентативный средний показатель.
  4. Бета-версию страницы нужно показывать посетителям из разных источников. Если на ваш сайт 60% пользователей заходят из поиска, 25% - из рекламы и 10% из социальных сетей - для новой версии сайта соотношение трафика должно быть приблизительно таким же.
  5. Наиболее достоверной считается проверка одного нововведения за раз - кнопки, текста, изображения. Многофакторные исследования возможны, но их результаты сложнее интерпретировать.

Зачем проводить тест

Зачем проводить A/B тестирование

Сплит тестирование решает ряд практических вопросов интернет-маркетинга.

Улучшение пользовательского опыта

“Замыленным” глазом иногда сложно увидеть, что с вашим сайтом что-то не так и почему продажи не растут или вовсе падают. Информация же из систем аналитики не всегда наглядна. A/B исследование может помочь найти корень проблемы. Это не кажется очевидным, но количество полей в форме заказа или цвет кнопки “подписаться” часто существенно влияет на конверсию.

Сокращение показателя отказа

Тест способен показать, влияет ли тот или иной элемент дизайна на то, как долго пользователи задерживаются на странице. Быстрый уход посетителей негативно влияет на SEO, стоимость контекстной рекламы и другие аспекты интернет-маркетинга.

Снижение рисков

Эксперименты с дизайном приводят не только к позитивным, но и негативным изменениям коммерческих показателей ресурса. Если при тестировании часть пользователей неохотно принимает новшества, вебмастер учитывает это и продолжает дорабатывать внешний вид страниц в другом ключе.

Улучшение дизайна

Последовательное обновление деталей дизайна и их корректное тестирование позволяют создать наиболее удобный и эстетичный интерфейс ресурса. Внедрять “все и сразу” - не лучший вариант.

Оптимизация инвестиций

Тестируя гипотезы, маркетолог добивается наилучшего показателя ROI и общего увеличения прибыли.

Обход конкурентов

Быть всегда на шаг впереди - основное правило для успешного ведения бизнеса. Если вы не усовершенствуете свой сайт - это сделают конкуренты, и пользователи уйдут к ним. Постоянная работа над сайтом поможет предотвратить отток посетителей.

Кто проводит тесты

Сплит тесты полезны в работе разных специалистов:

  • маркетологов - для лучшего понимания целевой аудитории и повышения продаж;
  • дизайнеров - для повышения юзабилити сайта, проверки удобства новых функций или привлекательности цветовых схем;
  • продакт-менеджеров - для проверки бизнес-показателей продукта - цены, торгового предложения, дополнительных опций.

Когда есть смысл запускать исследование

Когда есть смысл запускать A/B тестирование

Ситуации, когда показатель отказов на сайте превышает 20-25%, или конверсия долгое время не может пробить порог хотя бы в 2% - явный сигнал для вебмастера, что нужно искать причину проблемы. A/B тест будет действенным инструментом, если:

  • есть четкое представление, что изменение конкретного элемента может повлиять на поведение пользователей;
  • собрана достаточная аналитическая база;
  • у компании есть ресурсы и время на разработку и проведение тестирования - дизайнеры, маркетологи, аналитики;
  • есть понимание методов и алгоритмов проведения исследования;
  • небольшая просадка конверсии в случае неудачного эксперимента не будет критичной.

Если у вас сезонный товар, не рекомендуется проводить эксперименты на пиках - как высоких, так и низких. Лучше запустить тестирование перед началом высокого сезона. Конечно, данные нужно сравнивать с аналогичными за тот же период прошлого года.

Что проверять на практике

В дизайне макета страницы не бывает мелочей. Маркетолог должен отслеживать каждую деталь на сайте. Особенно это касается интерактивных элементов, бизнес-параметров. Но перед началом исследования нужно четко понимать его цели и метрики.

Наиболее измеримыми и пригодными для тестирования считаются:

  • вид, содержание и расположение кнопок призыва к действию;
  • визуал карточек товара;
  • объем и содержание текстов;
  • коммерческие элементы - цены, офферы, дополнительные услуги и пр.;
  • формы обратной связи;
  • заголовки, призывы к действию;
  • pop-up баннеры.

Можно проверить и некоторые маркетинговые приемы - длительность тестовой версии продукта, предоставление купонов на скидку и т. п.

6 шагов по проведению A/B теста

6 шагов по проведению A/B теста

Стандартный алгоритм сплит-теста выглядит следующим образом. Все пункты в нем важны, не один нельзя пропустить без нарушения методики исследования.

Постановка целей

Если мы продаем жалюзи на окна - понятно, что основная цель эксперимента - повышение количества заказов. Для начала определим, что может влиять на онлайн продажи. Помимо коммерческих показателей - цен и условий доставки, это могут быть, например, удобство карточки товара или функционал корзины.

Если аналитические данные подтверждают, что большое количество пользователей покидают сайт на этапе оформления заказа - прорабатываем теорию с корзиной.

Определение целевых метрик

Далее переходим к конкретным показателям эффективности. Главной метрикой в нашем примере будет число “брошенных” корзин. Возможно включение в исследование дополнительных измерений - общее число заказов, переходы на страницу “Контакты” или другие. Главное, чтобы они были релевантны нашей основной цели. Но брать сразу большое количество метрик не рекомендуется. Так значительно затруднится анализ данных.

Постановка гипотез

Устанавливаем прямые причинно-следственные связи между действиями и результатами. Для этого формулируем две гипотезы - нулевую и позитивную.

Нулевая гипотеза в случае с продажей жалюзи будет звучать так: “Если сократить количество полей для обязательного заполнения в корзине, количество заказов не изменится существенным образом”.

Альтернативная (позитивная) гипотеза: “Сокращение полей в корзине приведет к повышению конверсии на 2-3%”.

Четкая формулировка поможет прояснить, действительно ли внесенные изменения коррелируют с выбранными метриками. Ведь элемент случайности в результатах исследования всегда возможен.

Если наши предположения о перегруженности корзины верны, сработает альтернативная гипотеза, и правки останутся на сайте. Если верна нулевая гипотеза - нужно продолжать искать корень проблемы.

Подготовительные работы

  • разрабатываем B-версию посадочной страницы;
  • определяем состав выборки - в группу испытуемых войдут все пользователи или только из конкретного региона, с определенными демографическими показателями и т. п. ;
  • рассчитываем объем выборки - для этого можно воспользоваться специальными калькуляторами или внутренними инструментами системы для проведения тестирования. Главный принцип - выборка должна быть достаточно большой, чтобы результаты эксперимента были достоверны. Конкретное значение зависит от изначального трафика, уровня конверсии, продолжительности тестирования;
  • определяем допустимый уровень статистической значимости (α) - стандартный показатель при проведении любого рода исследований, показывающий возможную долю случайности при анализе результатов эксперимента. Если α = 0,05, значит, мы допускаем, что связь между нашими действиями и проверяемыми параметрами будет случайной в 5% случаев;
  • устанавливаем временные рамки - исходя из объема выборки и среднего трафика.

Запуск эксперимента

На начальном этапе необходимо проверить, все ли работает корректно. Правильно ли открываются версии страницы, в нужной ли пропорции распределяются пользователи. Дальше остается только ждать. Важно довести исследования до конца. Изучив результаты преждевременно, можно прийти к неправильным выводам.

Анализ результатов

Снимаем данные изучаемой метрики для А и В версий страниц, сравниваем их. Проверяем полученный результат на случайность с помощью показателя α. Делаем выводы. В нашем примере, если после изменения полей в корзине конверсия изменилась на значимый процент, альтернативная гипотеза признается верной.

Возможные ошибки при A/B тестировании

  1. Ложный положительный результат, или ошибка I рода.
    Заметить связь там, где ее нет, можно, если выборка недостаточно велика или если не учтен уровень статистической значимости.
  2. Ложное отсутствие результата, или ошибка II рода.
    Ошибка вероятна, если неправильно было посчитано изначальное среднее значение исследуемой метрики или была нарушена методика проведения теста.
  3. Преждевременное завершение тестирования.
    Положительные результаты в начале теста могут быть статистической погрешностью. Всегда нужно доводить исследование до конца, чтобы избегать ошибок I рода.
  4. Большое количество метрик.
    Чем больше параметров мы проверяем - тем больше вероятность возникновения погрешности. При проверке одной метрики случайный фактор не так значителен.

Инструменты для проведения A/B теста

Рассмотрим несколько популярных сервисов из множества представленных на рынке.

Google Optimize

Инструменты для проведения A/B теста - Google Optimize

Плюсы продукта - возможность одновременного тестирования нескольких гипотез, самостоятельное определение доли трафика для тестирования. Интерфейс сервиса достаточно прост - он ведет пользователя последовательно по шагам разработки теста.

ABtasty.com

Быстро настраиваемый, функциональный инструмент для полноценного тестирования сайтов и мобильных приложений. Легко интегрируется с Google Analytics. Главный недостаток - высокая стоимость продукта.

Changeagain.me

Удобный инструмент с широкими возможностями настройки таргетинга аудитории для эксперимента. В основе алгоритмов сервиса - искусственный интеллект. Еще один плюс - наглядная система статистики по тестам.

Vwo.com

Инструменты для проведения A/B теста - Vwo.com

Помимо возможностей тестирования, сервис предоставляет еще ряд инструментов для работы с сайтом. Подходит для тех, кто хочет самостоятельно делать верстку страниц для экспериментов.

Unbounce

Сервис для создания лендингов с хорошим внутренним инструментом A/B тестирования. Механизм прост - исследование запускается в несколько кликов. Тестировать можно только лендинги, созданные на платформе.

Заключение

A/B тестирование - действенный маркетинговый инструмент, способный показать, как дизайн и контент сайта влияют на его конверсию.

Сплит тесты помогают снизить при смене дизайна целевых страниц, оптимизировать ROI и улучшить пользовательский опыт.

Провести исследование при помощи специализированных платформ можно без навыков верстки и программирования.

При запуске теста важно правильно определить его масштаб и четко сформулировать исследуемые метрики.

онлайн заявка
Заполните форму
и мы свяжемся с вами!
Бюджет
от 219 493 руб.
СВЫШЕ 5 МЛН руб.
Бюджет
Я согласен с условиями оферты
vr boy
наши компетенции
Vr-app Контакты:
Адрес: Ленинский проспект, д.90 119313 Москва,
Телефон: +7 499 380-66-49, Электронная почта: info@vr-app.ru
Разработка VR приложений Vr-app
г. Москва, Ленинский проспект, д.90
Телефон:
Мы работаем ежедневно с 09:00 до 18:00
Vr-app
550.000 рублей