A/B-тестирование в контекстной рекламе: что это такое, этапы и инструменты
A/B-тестирование — один из самых простых и при этом самых недооценённых инструментов интернет-маркетинга. Его часто используют «на всякий случай», неправильно выстраивают процесс тестирования, а затем неверно интерпретируют результаты или вовсе игнорируют — особенно в контекстной рекламе, где решения часто принимаются с упором на ощущения, а не на реальные данные.
В этой статье разберём:
- что такое A/B-тестирование: рассмотрим понятие, этапы, основные инструменты, цель проведения;
- как A/B-тестирование проводится в Яндекс Директе.
A/B-тестирование — это метод сравнения двух (или более) вариантов одного элемента, чтобы определить, какой из них работает эффективнее.
Принцип тестирования следующий:
— Есть вариант A — текущая версия (например, версия объявления).
— Есть вариант B — версия с одним изменением (например, версия объявления с изменённым текстом). Изменение вносится только в один параметр элемента, для того чтобы после проведения тестирования было понятно, что именно повлияло на результат.
— Трафик распределяется между вариантами A и B.
— На основе статистики делается вывод, какой вариант даёт лучший результат.
Независимо от канала продвижения, любое A/B-тестирование проходит одни и те же этапы.
1. Формулирование гипотезы.
Важно четко сформулировать предположение о том, как поменяется значение интересующей метрики при внесении изменения. Например, не «потестим заголовок», а более конкретно: «Если дополнить заголовок информацией о бесплатном замере, количество лидов вырастет в 2 раза».
Корректно сформулированная гипотеза соответствует следующим признакам:
— основана на данных (аналитика, опыт, поведение пользователей);
— имеет измеримый результат;
— направлена на бизнес-показатель.
2. Выбор метрики.
Метрика зависит от сформулированной гипотезы. В рамках A/B-тестирования могут быть рассмотрены следующие метрики: CTR (кликабельность), CPC (стоимость клика), количество конверсий, стоимость лида, ROI / ROMI (окупаемость инвестиций).
В контекстной рекламе при проведении тестирования ориентируются, как правило, на общее количество лидов, а не просто на кликабельность.
3. Создание вариантов.
Как уже было сказано ранее, в тестируемом варианте меняется один параметр. Это может быть текст объявления, заголовок, призыв к действию, посадочная страница (цвет кнопки, форма, заголовок и др.), стратегия управления ставками и т. д.
4. Запуск и сбор данных.
Варианты не должны отличаться друг от друга ничем, кроме измененного параметра, иначе результаты могут получиться недостоверными.
5. Анализ и выводы.
После проведения тестирования необходимо изучить статистику и понять, подтвердилась ли гипотеза. Если гипотеза подтвердилась, то есть тестируемый вариант лучше контрольного, то его следует оставить в работе, а контрольный выключить. Если же после тестирования стало понятно, что результат не изменился или ухудшился, то запускать контрольный вариант вне тестирования нет смысла, иначе есть риск потратить бюджет впустую.
Инструменты для A/B-тестирования
Универсальные инструменты, актуальные для проведения тестирования в контекстной рекламе, — это «A/B-Эксперименты Яндекс Директа» и «Яндекс Метрика».
Для оценки качества лидов, а не только их количества, используются сервисы коллтрекинга и CRM.
Достоверность A/B-тестирования можно проверить с помощью различных калькуляторов достоверности:
-
калькулятор достоверности A/B-тестирования от «Яндекс Директ»
2. Калькулятор достоверности A/B-тестов от mindbox
Контекстная реклама — это идеальная среда для A/B-тестирования, так как тестированием в данном случае несложно управлять, с его помощью можно быстро собрать данные и корректно их оценить благодаря наличию чётких метрик эффективности.
A/B-тестирование в контекстной рекламе играет важную роль, так как позволяет снижать стоимость лида, масштабировать рабочие гипотезы, принимать решения на основе данных, а не интуиции, получать конкурентное преимущество в аукционе.
Далее рассмотрим, как и с помощью каких инструментов в Яндекс Директе проводится A/B-тестирование.
Для начала обозначим, что можно тестировать в контекстной рекламе (в том числе в «Яндекс Директ»).
1. Объявления
В качестве тестируемого элемента объявления может быть всё — от заголовка до уточнений. Тестироваться могут: офферы, цены и промоакции, призывы к действию, изображения и видео и др.
Приведем реальный пример тестирования текста объявления в одной из рекламных кампаний.
В рамках эксперимента тестировались два варианта текста по отопительному оборудованию:
- Вариант A — текст объявления с описанием продукта.
- Вариант B — текст объявления с выгодами, которые выделяют предложение клиента на фоне конкурентов.
Трафик между вариантами распределялся равномерно через инструмент «A/B-эксперименты» в «Яндекс Директе». Эксперимент проводился в течение 35 дней, что позволило накопить достаточный объём статистики для анализа.
Результаты тестирования представлены в Таблице 1 и на Рис. 12.
По итогам A/B-эксперимента тестируемый вариант показал более высокую эффективность:
— количество лидов оказалось выше в 2,5 раза;
— CPL оказался ниже в 2,6 раза.
При проверке статистической значимости с помощью калькулятора достоверности A/B-тестов результат показал достаточный уровень достоверности, что позволило считать улучшение не случайным.
В результате тестируемый вариант объявления был внедрён в основные рекламные кампании.
Этот мини-кейс показывает, что даже небольшие изменения в тексте объявления и акцент на более сильных выгодах могут существенно повлиять на эффективность рекламной кампании.
2. Ключевые фразы и типы соответствия.
Можно тестировать: широкое vs фразовое соответствие; высокочастотные vs среднечастотные фразы; коммерческие vs информационные ключевые фразы; автотаргетинг vs ключевые фразы и др.
Пример гипотезы:
«Среднечастотные запросы с уточнением услуги дадут лиды в 2 раза дешевле, чем высокочастотные запросы».
3. Посадочные страницы под один и тот же трафик.
Одно объявление используется в вариантах A и B, но оно ведет на разные лендинги.
В таком случае могут тестировать следующие элементы посадочных: структура страницы; первый экран; форма заявки; социальные доказательства; дополнительные инструменты лендинга (виджет обратного звонка, виджет с квизом и др.).
Такое A/B-тестирование полезно, когда все кампании оптимизированы, но стоимость лида при этом не снижается и не соответствует среднерыночной.
4. Стратегии управления ставками.
В Яндекс Директе можно тестировать: ручное управление vs автоматические стратегии (только на поиске); оптимизацию под клики vs конверсии; разные цели оптимизации.
5. Аудитории и корректировки.
Может быть протестировано следующее: ретаргетинг vs холодный трафик; сегменты по поведению на сайте; корректировки по устройствам, времени, регионам и др.
Для тестирования различных параметров рекламных кампаний в «Яндекс Директ» есть специальный инструмент — «А/B-эксперименты» (Рис. 3 и 4).
Кратко рассмотрим алгоритм действий при запуске «А/B-экспериментов» в «Яндекс Директ» на примерах
1 этап. Формулирование гипотезы.
Гипотеза в нашем случае (Таблица 1, Рис. 3 и 4) выглядела так: «Если мы добавим в текст несколько важных для покупателя выгод, выделяющих продукт клиента на фоне конкурентов, то увеличим число макроконверсий в 2 раза».
2 этап. Создание кампаний для тестирования гипотезы.
В рамках «А/B-экспериментов» в «Яндекс Директ» можно сопоставить между собой 2 и более кампании или разные настройки в рамках одной кампании.Таким образом мы создали две идентичные кампании, затем в одной кампании мы изменили текст, добавив в него несколько выгод. В данном эксперименте мы проверяли, как изменится количество лидов при изменении текста (Таблица 1, Рис. 3 и 4).
3 этап. Выставление настроек в «A/B-экспериментах Яндекс Директа».
Добавляем новый эксперимент (Рис. 5):
Заполняем параметры эксперимента (Рис. 6 и 7).
В параметрах нужно выбрать основную метрику, которую важно отслеживать в первую очередь. Выбор основной метрики зависит от формулировки гипотезы. При этом в отчетах будут отображаться все метрики, но основная будет на первом месте.
Затем необходимо задать длительность эксперимента. Как правило, устанавливают длительность не менее 2 недель, чтобы данные в кампаниях успели собраться для сопоставления результатов.
Далее нужно указать счетчик «Яндекс Метрики», который установлен на сайте, и цели, по которым в дальнейшем можно будет сравнить результаты.
Затем нужно определиться с количеством тестируемых вариантов, заполнить поля с вариантами для теста — добавить кампании и указать процент выборки. Бюджет каждой кампании должен быть пропорционален выборке.
В одном эксперименте может быть от 2 до 20 вариантов. Контрольный вариант — кампания без изменений, именно с этим вариантом будут сравниваться остальные.
Если же нужно протестировать разные ставки в одной и той же кампании, в таком случае необходимо добавить в контрольный вариант и вариант 1 (вариант 2 и т. д.) одну и ту же кампанию и установить при этом корректировки ставок (Рис. 8).
После выставления всех настроек можно запускать эксперимент (Рис. 9).
Эксперимент будет длиться в течение срока, заданного в настройках. Если длительность не указана, он завершится только после ручной остановки.
4 этап. Оценка результатов A/B-тестирования.
Отчет по результатам эксперимента можно посмотреть на странице «А/B-эксперименты», кликнув на три точки рядом с названием эксперимента и выбрав в появившемся списке «Отчёт» (Рис.10).
Отчет также можно открыть и из самого эксперимента, переключившись с вкладки «Настройки» на вкладку «Отчёт» (Рис. 11).
В отчете представлены метрики для каждого из вариантов тестируемых кампаний (Рис. 12).
Цветом выделены те ячейки, в которых значение показателя оказалось лучше (зеленый цвет) или хуже (красный цвет) в сравнении с контрольным вариантом. Увидеть это отличие можно с помощью значений в процентах, которые показывают разницу тестируемого варианта по отношению к контрольному.
В каждой ячейке таблицы можно увидеть два значения метрики: нижнее — реальная абсолютная величина, верхнее — величина, умноженная на коэффициент выборки, чтобы соответствовать 100%.
На Рис. 12 можно увидеть, что тестируемый вариант показал лучший результат по сравнению с контрольным. Подробнее об этом A/B-тестировании рассказали в начале статьи, данные привели в Таблице 1.
5 этап. Завершение эксперимента.
Необходимо проанализировать отчет, выбрать для дальнейшей работы наиболее эффективный вариант рекламной кампании и завершить эксперимент.
Инструмент «A/B-эксперименты» отлично справляется со своей задачей — можно подключать кампании к тестированию, оценивать их эффективность в интерфейсе Директа, не прибегая к помощи сторонних сервисов.
Однако анализировать эффективность кампаний, участвующих в A/B-тестировании, можно еще и в «Яндекс Метрике» (Рис. 13).
Для этого нужно зайти в «Яндекс Метрику», кликнуть «Отчёты» —> «Все отчёты» —> «Директ, эксперименты». Затем необходимо выбрать эксперимент, результаты которого хотелось бы оценить.
В отчете «Яндекс Метрики» «Директ, эксперименты» аналогично отчету «A/B-эксперименты» в «Яндекс Директе» можно сравнить результаты тестируемых кампаний с контрольным вариантом. Отличия в значениях метрик выделены разными цветами: красным цветом выделены те области, в которых значение метрик оказалось значимо хуже контрольного варианта, зеленым цветом — значения метрик значимо лучше контрольного варианта, серым цветом — значения метрик экспериментального варианта значимо не отличаются от значений контрольного варианта.
Несмотря на относительную простоту A/B-тестирования, на практике специалисты нередко допускают ошибки, которые могут приводить к некорректным выводам и неэффективному расходованию рекламного бюджета.
Рассмотрим эти ошибки
1. Изменение сразу нескольких параметров.
Если одновременно изменить текст объявления, изображение и посадочную страницу, невозможно определить, какой именно фактор повлиял на результат. В рамках классического A/B-тестирования рекомендуется изменять только один параметр — это позволяет корректно оценить влияние конкретного элемента на эффективность кампании.
2. Слишком короткий период тестирования.
Остановка эксперимента через несколько дней после его запуска может привести к случайным результатам. Для получения корректных выводов важно дождаться накопления достаточного объёма статистики. Как правило, минимальный срок проведения теста составляет 2–3 недели, однако точная длительность зависит от объёма трафика и количества конверсий.
3. Недостаточный объём трафика.
Если рекламная кампания получает небольшое количество кликов, статистики может быть недостаточно для получения достоверных результатов. В таких случаях тестирование может занимать значительно больше времени или вовсе не давать статистически значимых выводов.
4. Ориентация только на CTR.
Высокая кликабельность объявления не всегда означает высокую эффективность рекламы. Иногда объявления с более низким CTR могут приносить более качественные лиды и более низкую стоимость заявки. Поэтому при анализе результатов A/B-тестирования в контекстной рекламе важно ориентироваться на бизнес-метрики (количество лидов, стоимость лида, окупаемость рекламных инвестиций).
5. Игнорирование статистической значимости.
Даже если тестируемый вариант показывает результат лучше контрольного, важно убедиться, что разница не является случайной. Для этого рекомендуется использовать калькуляторы статистической значимости A/B-тестов и анализировать достаточный объём данных.
Таким образом, A/B-тестирование в контекстной рекламе — это не просто дополнительный инструмент оптимизации, а важная часть системной работы с рекламными кампаниями. Грамотно выстроенный процесс тестирования позволяет проверять гипотезы на основе данных, находить наиболее эффективные решения и постепенно улучшать результаты рекламы. Используя возможности «Яндекс Директа» и «Яндекс Метрики», можно регулярно анализировать изменения, снижать стоимость лида и масштабировать работающие подходы, принимая решения не на основе интуиции, а на основе объективной статистики.
Автор статьи Елена Трефилова
