ТОП-7 правил успешного кросс-промо в интернете
Previous
выбрать за меня
28 октября YouTube внедрит платную подписку
Next
А/В тестирование, оптимизация, интернет-маркетинг
Юзабилити

9 фатальных заблуждений оптимизатора, связанных с методом A/B тестирования

Автор: Денис Давыдов22.10.2015

Оптимизация сайтов и целевых страниц на основе данных, полученных в результате A/B тестирования ­– это, пожалуй, один из столпов оптимизации конверсии как таковой. A/B тестированием увлечены все, от начинающих стартаперов со скромными возможностями, до огромных корпораций, постоянно проводящих сложные и показательные тесты. Этот метод очень соблазнителен благодаря своей относительной достоверности и теоретически широчайшим, безграничным возможностям совершенствования сайта.

Новички, которые приходят в интернет-маркетинг, часто начинают пробовать свои силы именно с A/B тестирования, и это не в последнюю очередь связано с ложными представлениями относительно невероятной эффективности этого подхода. Весь секрет A/B тестирования заключается в том, что оно действительно чрезвычайно полезно и эффективно, и вряд ли можно найти какие-то сопоставимые альтернативы. Однако, как и любые другие методы интернет-маркетинга, оно не является панацеей и «волшебной таблеткой».

К сожалению, как начинающие бизнесмены в сфере eCommerce, так и просто новички в маркетинге и оптимизации, очень часто рассматривают принцип A/B тестирования именно как универсальное и безотказное средство в деле спасения любого проекта, чья конверсия либо не является удовлетворительной, либо не выходит на запланированный уровень. Это распространенное заблуждение, которое на практике очень часто приводит людей, не вполне осознающих принципы, на основе которых работает этот метод, к ошибкам и тем результатам, которые прямо противоположны наивным ожиданиям.



Так как эта тема является актуальной для очень многих специалистов и, в особенности, для новичков, пробующих свои силы в электронной коммерции, мы решили перечислить все самые грубые и, зачастую, фатальные ошибки, связанные с методом A/B тестирования. Разбирая подробно каждую из них, мы надеемся внести свою лепту в развенчание распространенных иллюзий и предостеречь коллег от повторения типичных просчетов и ошибок. Итак, начнем.

1. A/B тестирование – это панацея, которая спасет конверсию

Это, на самом деле, главное заблуждение, которое сводит на нет любую потенциальную пользу метода.

Также как и любые другие инструменты интернет-маркетолога, A/B тестирование является лишь одним из способов поиска проблем, связанных с дизайном, интерфейсом и UX. Оно является лишь простым инструментом для повседневной работы, который сам по себе не может волшебным образом превратить убыточный бизнес, не пользующийся успехом у целевой аудитории, в процветающий и популярный проект.

Мы часто обсуждаем нечто подобное в статьях, посвященных интернет-маркетингу – если продвигаемы   й продукт изначально не обладает пользой и ценностью в глазах целевой аудитории, то никакие оптимизаторские фокусы не спасут его от провала. Это необходимо честно признать. Привычка всегда смотреть в корень и не пытаться убеждать себя в том, чего на самом деле нет – это, в принципе, один из ключевых навыков для всех, кто занимается оптимизацией, маркетингом и бизнесом в целом.

На самом деле это очень распространенная, классическая ситуация – продукт запускается, продвигается, но ожидаемой конверсии и хоть какого-то значимого результата все нет. Никто из тех, кто вложил в проект массу своего времени, сил и средств, не хочет разочаровываться, и большинство стартаперов в такой ситуации до последнего пытаются свалить вину за провал на такие весьма вторичные факторы, как неправильное расположение элементов на сайте или неудачный цвет СТА-кнопки.



В таких случаях, как правило, признание того, что продукт сам по себе неудачен и неинтересен, приходит только в самом конце, когда дальше обманывать себя уже не получается.

А/В тестирование, оптимизация, интернет-маркетинг

Если вы попали в подобную ситуацию, но не можете понять, заключается ли проблема в самом продукте или сайте, то вам стоить прибегнуть к двум методам определения корня ваших неудач.

Первый (и, вероятно, самый эффективный) это проверка уровня продаж в оффлайне. Конечно, далеко не каждому проекту подойдет такой вариант, что особенно справедливо для цифровых продуктов, однако, если у вас получается лично, в «реальной жизни» продавать товар заинтересованным людям, то, вполне вероятно, что на самом деле не все так плохо и проблема действительно заключается в неудачном интерфейсе или каких-либо других ошибках, совершенных при выборе маркетинговой стратегии.

Второй метод более универсален и подходит для любых продуктов. Его предложил использовать один из сотрудников Dropbox. Суть метода заключается в следующем ­– если больше 40% процентов нынешней аудитории будут огорчены в случае, если вы закроете стартап, то это значит, что бизнес таки имеет потенциал для дальнейшего развития. Что характерно, этот вывод не привязан к реальным исследованиям и статистике, однако, как утверждает маркетолог Dropbox, он всегда срабатывает.

И, кончено же, для того, чтобы узнать, насколько пользователи дорожат вашим продуктом, вам вовсе не обязательно создавать искусственный ажиотаж с угрозами прекращения поддержки проекта ­– достаточно всего лишь провести разовый опрос всей аудитории.

2. Двухэтапное A/B тестирование

Тестирование сайта, что называется, в два захода, является тем самым «кустарным» способом, который всегда приводит к недостоверным результатам. Им часто пользуются те, кто хочет с помощью минимальных усилий выявить какие-то проблемы в реализации интерфейса.



Такой подход сводит на нет любую возможную пользу от A/B тестирования. Принципиальная ошибка заключается в том, что трафик сам по себе не является стабильной, постоянной величиной – на него влияет масса факторов, порой совсем неочевидных. Из основных это – день недели, текущий сезон и экономическая обстановка, источник трафика и еще множество других. Это очень напоминает погоду, которая может совершенно неожиданно поменяться вопреки всем прогнозам.

Когда вы сначала тестируете «А», а затем – «B», то вы делаете это в разных погодных условиях, отчего результаты теста становятся мало репрезентативными.

Хороший пример – когда волею случая ваш проект упоминается на какой-либо крупной площадке, в результате чего вы получаете массу переходов по ссылке на ваш сайт. Этот кратковременный и, зачастую, не самый продуктивный в плане итоговой конверсии приток пользователей, способен полностью разрушить достоверность проводимого вами теста.

Чтобы этого не произошло, вы должны использовать соответствующие сервисы, которые помогают проводить достоверное A/B тестирование, когда оба варианта тестируются одновременно, а весь поступающий трафик случайным образом разделяется на два равноценных потока.

А/В тестирование, оптимизация, интернет-маркетинг

3. Недостаточное время тестирования

Еще одна распространенная ошибка, которая часто имеет место даже среди относительно опытных оптимизаторов. Соблазн остановить эксперимент в тех случаях, когда преимущество одного из вариантов кажется очевидным – не редкость.

Действительно, если одна из версий демонстрирует большую эффективность в то время, когда общее количество конверсий превышает стандартную отметку в 100, то часто кажется, что все, в общем и целом, понятно, и больше не стоит тратить время попусту – гораздо лучше протестировать что-нибудь еще.

На практике же подобное отношение к тестированию опять же приводит нас к высокому риску совершенно неправильной интерпретации полученных результатов.

Одна неделя – это тот необходимый минимум, который нужен для получения более-менее объективной картины. В самом простом случае следует понимать, что конверсия в будни может заметно отличаться от конверсии в выходные дни.

Кроме того, не следует также забывать и о таком важном понятии, как статистическая достоверность. Она может быть определена различными методами (самый удобный из которых – это расчет на специальных сервисах), но, в любом случае, ее показатель не должен быть меньше 95%.

Вы точно также, как и многие другие ваши предшественники, можете столкнуться с ситуацией, когда новый вариант страницы будет демонстрировать крайне удручающую конверсию в течение двух-трех дней, однако в дальнейшем ситуация в корне изменится и станет ясно, что именно этот новый вариант, показавший себя, в силу каких-либо причин, не самым лучшим образом в начале тестирования, является наиболее эффективным.

4. Чужой (соблазнительный) опыт

Одно из самых наивных заблуждений связано с попытками слепо, по шаблону использовать наиболее успешные чужие наработки.

К примеру, вы читаете о том, что кому-то удалось фантастическим образом увеличить конверсию благодаря совсем небольшому изменению – такому, как смена цвета СТА-кнопки. Подобные примеры естественным образом вызывают зависть и мысли о том, что и в случае своего проекта такой прием очень даже может сработать. Однако, в большинстве подобных случаев результат оказывается, в лучшем случае, нулевым.

Проблема заключается в контексте именно вашего дизайна. В общем, каждый из проектов обладает своим характерными, индивидуальными особенностями. Они выражаются в предпочтениях конкретной целевой аудитории, в особенностях самого продукта и, конечно же, в цельном дизайне сайта.

Успешное изменение цвета одного из элементов на сайте ваших конкурентов совершенно не означает того, что и в вашем случае это положительным образом скажется на конверсии.

В самом очевидном случае условно «успешный» цвет кнопки из чужого примера может никак не сочетаться с цветами, в которых выполнен ваш собственный сайт, и такая несочетаемость будет лишь раздражать и отталкивать пользователей.

Есть и еще один нюанс – изучая чужие кейсы, вы никогда не можете быть уверенны в том, что описываемое тестирование было проведено без тех ошибок, которые мы разбираем в сегодняшней статье.

Успешные результаты вполне могут быть всего лишь ложно интерпретированными данными, полученными в результате слишком кратковременного тестирования либо тестирования, проведенного в два этапа.

5. Излишнее внимание к деталям

Все мы любим читать истории про феноменальный успех, которого добились оптимизаторы в результате проведения A/B тестирования.

Особенно привлекательными выглядят эксперименты, в которых успех достигается благодаря изменению довольно-таки незначительных элементов, например, цвета кнопок, изображений или заголовков.

Бесспорно, все эти условно «незначительные» элементы на самом деле важны, и порой, как выясняется, критически важны. Но это уже дело случая и не стоит надеяться, что эксперименты с цветом или разновидностями изображений гарантированно приведут вас к огромному повышению конверсии.

Будучи реалистами, мы советуем вам начинать с более выраженных и существенных изменений. Тестировать сильно различающиеся страницы, каждая из которых обладает определенной концепцией – это гораздо более продуктивное мероприятие, нежели проведение множества мелких и, зачастую, не слишком показательных тестов.

А/В тестирование, оптимизация, интернет-маркетинг

Эксперименты с незначительными деталями, на самом деле, хороши для того, чтобы «набить руку» и на практике изучить механизмы и принципы работы A/B тестирования. Но если вы уже обладаете определенным опытом, то серьезную работу всегда стоит начинать с тестирования радикальных, порой диаметрально противоположных подходов.

6. Вырабатываем гипотезу

Еще одна ошибка – это попытка взять, что называется, «с потолка» идею для тестирования.

Идея для тестирования, т.е. гипотеза, должна иметь под собой определенное обоснование – почему именно она, по какой причине тестирование следует начать именно с нее.

Начинающие оптимизаторы часто выбирают какую-либо гипотезу, исходя не из объективных реалий, а руководствуясь какими-то своими представлениями, которые нередко не имеют под собой внятного обоснования.

Как и во многих других методах оптимизации, начинать A/B тестирование следует с анализа сайта и опроса заказчика.

Будет совсем замечательно, если вы также сможете и опросить какое-то количество пользователей, чтобы получить представление о том, в каком направлении вам предстоит двигаться.

Постарайтесь узнать у представителей ЦА, что, по их мнению, недостает текущей странице, что затрудняет процесс покупки и какие бы изменения могли бы мотивировать посетителя на конверсионные действия.

С опытом, вы сами будете составлять список вопросов для работы над каждым конкретным проектом. В любом случае, предварительный анализ ситуации резко повышает ваши шансы на успех.

7. Проведение нескольких тестов одновременно

Несмотря на возможную иллюзию продуктивности, одновременное проведение нескольких тестов, как правило, ни к чему хорошему не приводит.

Любое A/B тестирование требует внимательной, вдумчивой и кропотливой работы, которая включает в себя как предварительный сбор информации, так и подведение итогов после окончания эксперимента. Одновременный запуск нескольких экспериментов не позволит вам как следует сосредоточиться на каком-либо из них.

Проблема заключается в том, что A/B тестирование по своей сути – это не точный и строгий процесс, выводы которого всегда однозначны. Зачастую, результаты теста необходимо правильно интерпретировать и, возможно, проводить дополнительное тестирование. По этой причине, важно уделять должное внимание каждому тесту, от самого начала, когда оптимизатор проводит анализ и сбор информации, до последнего этапа, когда исходя из результатов принимается решение о внедрении изменений на сайт.

Более тривиальная проблема, связанная с запуском нескольких тестов в одно время, заключается в дополнительных финансовых рисках для бизнеса.

Вполне возможно, что многие из тестируемых изменений окажутся неудачными, и в таком случае, при их большом количестве, конверсия может значительным образом снизиться на довольно-таки продолжительное время, чего мы допустить никак не можем.

8. Тестирование нескольких изменений в рамках одного эксперимента

Не менее важно не изменять слишком много разных элементов в рамках одного A/B тестирования.

Конечно, те радикальные изменения, о которых мы говорили и которые могут принести очень хороший результат, должны иметь место в вашей практике, однако в последующем, при совершенствовании страницы с помощью более точного и детального A/B тестирования, вы не должны увлекаться попытками протестировать сразу несколько элементов в течение одного эксперимента.

Дело в том, что при таком подходе вы рискуете не разобраться в том, какое именно из нескольких нововведений привело к повышению (или снижению) конверсии.

Если вы одновременно изменили цвет кнопки, расположение текста и способ группировки товаров, то в конечном счете вы не сможете определить, какое из этих действий повлияло на конверсию.

9. Микроконверсии как самоцель

А/В тестирование, оптимизация, интернет-маркетинг

Под микроконверсиями мы пониманием те конверсионные показатели, которые напрямую не связаны с главным критерием эффективности сайта, а именно – его способности продавать и зарабатывать деньги.

К примеру, вам удается достичь того, что пользователи стали чаще и больше просматривать каталог товаров, но если при этом их покупательская активность остается прежней, то это сложно назвать успехом.

Безусловно, важно прорабатывать все этапы воронки, однако главным критерием успеха всегда должны оставаться показатели продаж. Микроконверсии необходимо рассматривать не как самоцель, а как части целого – только при условии, что каждый из этапов будет обладать хорошей конверсией, проект можно считать успешным.

Реакция на статью
поделюсь
0%
интересно
0%
полезно
0%
не уверен
0%
скучно
0%
где автор?
0%
Денис Давыдов
Всем привет! Я Денис Давыдов – автор статей о юзабилити, интерфейсах и интернет-маркетинге. Будучи энтузиастом в сфере электронной коммерции и UX, сотрудничаю с различными российскими компаниями, предоставляя качественный контент и публицистику для веб-проектов. Изучаю актуальную культуру и политику, пишу очерки по мотивам наиболее острых и любопытных феноменов современности.
Комментарии
Оставить отзыв

    You must log in to post a comment

    ПОДПИШИТЕСЬ НА НАШУ РАССЫЛКУ!
    Уведомления о новостях, статьях и инфографике будут приходить раз в неделю.
    ПОДПИШИТЕСЬ НА НАШУ РАССЫЛКУ!
    Позвольте нам обновлять ваши знания раз в неделю.