А/B-эксперименты от Яндекса - подход с другой стороны

В Директе появилась возможность тестировать не только разные варианты объявлений или посадочных страниц. Теперь можно проводить эксперименты, которые позволяют на основе статистики сравнивать между собой любые настройки, типы кампаний и даже медиапланы.

Новый инструмент А/В-тестирования доступен по запросу — рекламодателям, которые уже уверенно работают с аналитикой, накопили в кампаниях достаточно данных и готовы тестировать разные сценарии работы с рекламой.

Как устроены эксперименты в Директе

Директ делит аудиторию на случайные непересекающиеся сегменты, так что каждый пользователь попадёт в тестовую или контрольную группу. Размер этого сегмента в виде доли от аудитории нужно определить самостоятельно — от 1 до 99%, сегментов может быть два или больше, причём необязательно выборки должны быть одинаковыми.

Как запустить эксперимент

• Создать эксперимент в Аудиториях — завести сегменты пользователей на долю аудитории.
• В Директе привязать сегменты к тестируемым кампаниям.
• Сравнить статистику по тестовым сегментам и всем остальным пользователям с помощью Мастера отчётов Директа и данных Метрики.

Для правильного эксперимента потребуются:

• Настроенные цели или Ecommerce действия в Метрике — источник информации о конверсиях.
• Счётчик Метрики, привязанный ко всем кампаниям, которые планируется тестировать.
• Накопленная статистика — не менее 200 конверсий в месяц. Это может быть оформление заказа на сайте, просмотр определённых страниц, заявка на тест-драйв и т.д.
• Доступ к экспериментам в Аудиториях и Директе. Получить его можно у менеджера Яндекса или в отделе клиентского сервиса.
• Гипотеза, которую хочется проверить — например, насколько эффективнее стала обновлённая стратегия для сетей.

В Аудитории следует зайти под тем же логином, что и в Директ, а после этого создать новый эксперимент:

Важное

• Проводить любой A/B-тест следует не менее 2 недель, лучше — больше. Главное, чтобы за этот период успела накопиться статистика.
• Тестировать гипотезы лучше на таких кампаниях, которые успеют собрать за месяц не менее 200 нужных конверсий.
• Кампании в эксперименте нужно одновременно начинать и так же одновременно останавливать.
• После эксперимента следует отвязать сегменты от кампаний.

Подробнее об этом инструменте можно узнать в статье от команды Яндекса.