Медиана вместо среднего: как анализировать метрики в A/B-тестах

Медиана становится ключевым инструментом в анализе A/B-тестов, когда мы сталкиваемся с асимметричными распределениями данных или значительными выбросами. В таких условиях среднее арифметическое может давать искаженную картину, тогда как медиана, будучи устойчивой к экстремальным значениям, точнее отражает типичное поведение пользователей. Этот подход позволяет продуктовым аналитикам принимать более обоснованные решения, базируясь на данных, не подверженных влиянию небольшого числа аномалий.

Почему среднее не всегда "среднее": недостатки арифметического среднего

Арифметическое среднее — это наиболее распространённая мера центральной тенденции, которую мы используем интуитивно. Для симметричных распределений, таких как нормальное, оно прекрасно работает и даёт точное представление о "среднем" значении. Однако, когда данные распределены неравномерно, его применение может привести к серьёзным ошибкам в интерпретации.

Представьте себе метрику "доход с пользователя" в интернет-магазине. Большинство покупателей совершают небольшие покупки, скажем, на 1000–5000 рублей. Но иногда появляется "кит" — пользователь, который за одну транзакцию тратит 500 000 рублей. Если в выборке из 1000 пользователей окажется всего один такой "кит", средний чек существенно вырастет, создавая иллюзию общего улучшения показателя, хотя 999 пользователей по-прежнему тратят мало. В этом случае среднее значение перестает быть репрезентативным для большинства пользователей.

Ещё один пример — время, которое пользователь проводит на сайте. Большинство пользователей заходят на несколько минут, быстро находят нужную информацию и уходят. Однако небольшой процент пользователей, возможно, оставят вкладку открытой на весь день или будут активно изучать контент часами. Эти несколько "залипающих" пользователей могут значительно завысить среднее время на сайте, маскируя тот факт, что большинство остальных пользователей проводят на платформе очень мало времени.

Чувствительность к выбросам

Главный недостаток среднего — его высокая чувствительность к выбросам. Выбросы — это значения, которые сильно отличаются от большинства других значений в наборе данных. Они могут быть результатом ошибок при сборе данных, аномального поведения пользователей или просто отражать специфику распределения (например, "тяжёлые хвосты" в распределении дохода). Даже один-два экстремальных показателя способны сдвинуть среднее значение так, что оно перестанет адекватно описывать общую тенденцию.

„Среднее арифметическое подобно компасу, который указывает на север, но только если поле не содержит магнитных аномалий. В противном случае он ведёт нас в заблуждение, уводя от истинного направления."

— Нассим Талеб, "Чёрный лебедь"

Медиана как надёжная альтернатива: преимущества и применение

Медиана — это значение, которое делит упорядоченный набор данных на две равные половины: половина значений меньше медианы, а половина — больше. Её главное преимущество перед средним — устойчивость к выбросам и асимметрии распределения. Она отражает "типичное" значение, игнорируя экстремальные показатели на краях.

Чтобы найти медиану, необходимо сначала отсортировать все значения от наименьшего к наибольшему. Если количество значений нечётное, медиана будет центральным элементом. Если чётное — медиана обычно вычисляется как среднее арифметическое двух центральных значений. Например, для набора данных [1, 2, 5, 8, 100], медиана будет 5. Если добавить выброс [1, 2, 5, 8, 100, 1000], медиана будет (5+8)/2 = 6.5. В обоих случаях медиана значительно меньше среднего, но при этом лучше описывает типичный уровень данных.

Когда медиана незаменима в A/B-тестах

• Доход с пользователя (ARPU, LTV): Часто встречаются несколько пользователей с очень высоким чеком, которые могут сильно исказить средний ARPU. Медиана покажет доход типичного клиента.
• Время сессии на сайте: Распределения времени часто имеют длинный "хвост" из-за небольшого числа пользователей, которые долго находятся на сайте (например, забыли закрыть вкладку). Медиана отразит реальное время большинства.
• Количество действий пользователя: Например, количество просмотренных страниц, добавленных в корзину товаров, сообщений. Здесь тоже возможны "супер-активные" пользователи, чья активность нетипична.
• Время загрузки страницы: В большинстве случаев время загрузки стабильно, но иногда случаются единичные сбои или медленные соединения, которые могут "портить" средний показатель.

При анализе A/B-тестов, когда целевая метрика имеет скошенное распределение, сравнение медиан между контрольной и тестовой группами даёт более надёжный результат. Оно позволяет сосредоточиться на изменении поведения основной массы пользователей, а не на колебаниях, вызванных экстремальными значениями.

Кейс: Оптимизация формы регистрации и метрика "время заполнения"

Представим, что мы проводим A/B-тест для новой версии формы регистрации. Основная гипотеза: новая форма сократит время, затрачиваемое пользователями на её заполнение. Мы разделили аудиторию на две группы: контрольную (старая форма) и тестовую (новая форма), по 5000 пользователей в каждой.

Собираем данные по времени заполнения формы (в секундах) для каждой группы. Результаты показывают следующее:

• Контрольная группа (старая форма):
• Среднее время: 120 секунд
• Медианное время: 45 секунд
• Тестовая группа (новая форма):
• Среднее время: 100 секунд
• Медианное время: 38 секунд

На первый взгляд, среднее время в тестовой группе (100 секунд) выглядит лучше, чем в контрольной (120 секунд). Кажется, что новая форма сократила время на 20 секунд. Но давайте внимательнее посмотрим на медиану.

Медиана в контрольной группе составляет 45 секунд, а в тестовой — 38 секунд. Это означает, что для 50% пользователей в тестовой группе время заполнения было 38 секунд или меньше, тогда как в контрольной группе этот порог был на 7 секунд выше. Такое расхождение между средним и медианой указывает на то, что в обеих группах есть пользователи, которые заполняют форму очень долго. Эти "долгие" пользователи, возможно, отвлеклись, столкнулись с ошибкой или имели очень медленный интернет. Они существенно завышают среднее, но на медиану их влияние гораздо меньше.

Если бы мы ориентировались только на среднее, мы бы сделали вывод о сокращении времени на 20 секунд. Однако медиана показывает, что для "типичного" пользователя улучшение составило 7 секунд, что является более реалистичной оценкой и подтверждает положительное влияние новой формы на большинство пользователей. Этот пример ясно демонстрирует, как медиана позволяет избежать ложных выводов, фокусируясь на центральной тенденции, не искажённой выбросами.

Статистическая значимость для медиан: как проверить результат

Когда мы сравниваем медианы между двумя группами в A/B-тесте, нам так же необходимо проверить статистическую значимость различий. Простое сравнение значений медиан не даёт нам уверенности, что наблюдаемая разница не является случайной.

U-критерий Манна-Уитни

Для проверки статистической значимости различий между медианами двух независимых выборок в большинстве случаев используется U-критерий Манна-Уитни (Mann-Whitney U test). В отличие от t-критерия Стьюдента, который предполагает нормальное распределение данных, U-критерий является непараметрическим. Он не делает предположений о форме распределения и устойчив к выбросам, что делает его идеальным инструментом для сравнения медиан или порядковых данных.

Принцип работы критерия Манна-Уитни заключается в ранжировании всех данных из обеих групп вместе, а затем сравнении сумм рангов для каждой группы. Если суммы рангов существенно отличаются, это говорит о статистически значимой разнице между распределениями, а следовательно, и между медианами (при условии, что формы распределений схожи).

„Выбор правильного статистического теста критически важен. Использование параметрических тестов для непараметрических данных равносильно попытке забить гвоздь отверткой — результат будет, но не тот, что ожидался, и с большим трудом.“

— Андрей Кудрявцев, ведущий аналитик данных

Интерпретация p-значения

После проведения теста Манна-Уитни мы получаем p-значение. Если p-значение меньше выбранного уровня значимости (обычно 0.05), мы отклоняем нулевую гипотезу (о том, что медианы двух групп равны) и заключаем, что наблюдаемая разница в медианах статистически значима. Это означает, что новая версия продукта действительно оказала влияние на "типичного" пользователя, а не просто привела к случайным колебаниям.

Когда всё же использовать среднее?

Несмотря на преимущества медианы, среднее арифметическое остаётся важным показателем и в некоторых случаях предпочтительнее. Его стоит использовать, если:

• Данные имеют симметричное или близкое к нормальному распределение: В таких случаях среднее и медиана близки по значению, но среднее содержит больше информации о данных и имеет меньшую ошибку выборки при определённых условиях.
• Каждый отдельный элемент данных одинаково важен: Например, при расчёте общего дохода компании, каждый доллар важен, независимо от того, сколько пользователей его принесли. Здесь средний чек может быть менее важен, чем общая сумма.
• Вы хотите понять общую сумму: Например, среднее количество транзакций на пользователя, если вам нужно оценить общий объём транзакций. Если каждый пользователь совершает одну транзакцию, а один пользователь совершил 100, то среднее будет показывать общую сумму транзакций более точно, чем медиана.
• Метрика является агрегатом: Например, среднее значение коэффициента конверсии (CTR, CR) на уровне сессий или показов. Эти метрики часто уже являются средними по своей природе.

Часто продуктовые аналитики используют оба показателя — и среднее, и медиану — чтобы получить максимально полное представление о данных. Это позволяет оценить как общую производительность (по среднему), так и поведение типичного пользователя (по медиане).

Ловушки интерпретации и как их избежать

Использование медианы, хотя и более надёжно в определённых ситуациях, не избавляет от необходимости вдумчивого анализа. Существует несколько типичных ловушек, которые следует избегать.

Игнорирование формы распределения

Перед тем как выбрать между средним и медианой, всегда визуализируйте распределение вашей метрики. Гистограммы, box plots (ящики с усами) или скрипичные диаграммы помогут понять форму распределения: симметричное оно, скошенное вправо (длинный хвост высоких значений) или влево (длинный хвост низких значений), есть ли выбросы. Если распределение сильно асимметрично, медиана почти всегда будет лучшим выбором.

Слепое применение медианы ко всем метрикам

Медиана не является панацеей. Для некоторых метрик, таких как коэффициент конверсии или среднее количество показов, среднее значение может быть вполне репрезентативным. Всегда анализируйте особенности конкретной метрики и её распределения, прежде чем принимать решение о выборе меры центральной тенденции.

Неверная интерпретация статистической значимости

Даже если разница в медианах статистически значима, это не всегда означает, что она практически значима. Разница в 1-2 секунды времени загрузки страницы может быть статистически значимой на большой выборке, но не приведёт к заметному улучшению пользовательского опыта. Всегда оценивайте результаты в контексте бизнес-целей и ожидаемого эффекта.

Практические выводы для продуктового аналитика

При анализе продуктовых метрик и результатов A/B-тестов придерживайтесь следующего подхода:

1. 1.Визуализируйте данные: Всегда начинайте с построения гистограмм или box plots для каждой метрики. Это даст наглядное представление о форме распределения и наличии выбросов. Если распределение сильно скошено, медиана — ваш выбор.
2. 2.Используйте медиану для асимметричных распределений: Особенно актуально для метрик, связанных с доходом, временем использования, количеством действий, где часто встречаются "тяжёлые хвосты" и выбросы.
3. 3.Применяйте непараметрические тесты для медиан: Для проверки статистической значимости различий между медианами используйте U-критерий Манна-Уитни. Это позволит получить корректные p-значения, не зависящие от предположений о нормальности распределения.
4. 4.Анализируйте среднее и медиану вместе: Не отказывайтесь от среднего полностью. В некоторых случаях оно даёт ценную информацию об общей сумме или агрегированном показателе. Комплексный подход обогащает анализ.
5. 5.Оценивайте практическую значимость: Статистическая значимость — это ещё не всё. Всегда задавайтесь вопросом, насколько наблюдаемая разница важна с точки зрения бизнеса и пользователя. Малая, но статистически значимая разница может быть недейственна.
6. 6.Документируйте выбор: Чётко указывайте в отчётах, какую меру центральной тенденции вы использовали и почему. Это повышает прозрачность анализа и позволяет коллегам быстрее понять логику ваших выводов.

Медиана и квартили: более глубокий взгляд на распределение

Медиана даёт нам чёткое представление о центральной тенденции, о том, где находится середина данных. Но этого недостаточно, чтобы полноценно понять распределение. Чтобы увидеть полную картину, нужно использовать квартили. Квартили делят отсортированный набор данных на четыре равные части, каждая из которых содержит 25% наблюдений.

Первый квартиль (Q1) — это значение, ниже которого находится 25% данных. Второй квартиль (Q2) — это медиана, 50% данных ниже этого значения. Третий квартиль (Q3) — значение, ниже которого находится 75% данных. Диапазон между Q1 и Q3 называется интерквартильным размахом (IQR), и он показывает центральные 50% данных, являясь надёжной мерой вариативности, менее чувствительной к выбросам, чем стандартное отклонение.

Как использовать квартили в A/B-тестах

В контексте A/B-тестирования сравнение не только медиан, но и квартилей между тестовой и контрольной группами даёт более полное представление о воздействии изменений. Представим, что мы тестируем новый дизайн страницы товара и метрика — количество просмотренных страниц за сессию. Если медиана количества просмотренных страниц немного увеличилась, это хорошо. Но что, если Q1 остался прежним, а Q3 значительно вырос? Это может говорить о том, что новый дизайн особенно хорошо сработал для наиболее вовлечённых пользователей, но не повлиял на менее заинтересованных. Или, наоборот, Q1 снизился, что указывает на проблемы у части аудитории, несмотря на общий рост медианы.

Анализ квартилей позволяет глубже сегментировать влияние изменений. Например, мы можем обнаружить, что наш новый функционал улучшает пользовательский опыт для 25% самых активных пользователей (рост Q3), но при этом ухудшает опыт для 25% наименее активных (снижение Q1). Если бы мы смотрели только на медиану, такой нюанс мог бы быть упущен, и мы бы приняли неоптимальное решение. Квартили дают возможность задавать более точные вопросы: для кого именно наш эксперимент сработал лучше всего? Кто пострадал от изменений?

Визуализация распределений: гистограммы и Box Plots

Числа важны, но визуализация позволяет быстро уловить суть распределения и аномалии, которые могут искажать наши метрики. Гистограммы и Box Plots (ящичковые диаграммы) — мощные инструменты для анализа в A/B-тестах.

Гистограммы для сравнения групп

Гистограмма показывает частоту попадания значений в определённые интервалы. Сравнивая гистограммы контрольной и тестовой групп, мы можем увидеть изменения в форме распределения. Допустим, мы тестируем новую систему рекомендаций и хотим оценить количество товаров, добавленных в корзину. Если у контрольной группы гистограмма имеет длинный правый хвост (много пользователей добавили 0-1 товар, и лишь немногие — 10+), а у тестовой группы пик сместился вправо и хвост стал менее выраженным, это явный признак улучшения. Или, наоборот, гистограмма тестовой группы может стать бимодальной, что укажет на то, что новый функционал работает по-разному для двух подгрупп пользователей.

Box Plots для сравнения медиан, квартилей и выбросов

Box Plot — это идеальный инструмент для сравнения медиан, квартилей и обнаружения выбросов между двумя или более группами. Он визуально представляет пять ключевых статистических показателей: минимальное значение, первый квартиль (Q1), медиану (Q2), третий квартиль (Q3) и максимальное значение, а также обозначает выбросы. "Ящик" на диаграмме охватывает интерквартильный размах (от Q1 до Q3), а линия внутри ящика обозначает медиану. "Усы" простираются от ящика до минимального и максимального значений в пределах 1.5 IQR от Q1 и Q3, соответственно. Точки за пределами "усов" считаются выбросами.

Представьте A/B-тест, где мы сравниваем время загрузки страницы. Если Box Plot тестовой группы показывает более низкую медиану, меньший интерквартильный размах и меньше выбросов, это убедительное доказательство улучшения. И наоборот, если медиана улучшилась, но при этом появились новые, более экстремальные выбросы, это сигнал, что для некоторой части пользователей опыт ухудшился, хотя общая картина выглядит позитивно.

Визуализация данных не просто дополняет статистический анализ, она часто является первым шагом к пониманию истинных закономерностей и аномалий, которые скрыты за числами. Без неё мы рискуем принимать решения вслепую.

— Роман Гаврилов, Продуктовый аналитик Rusability

Альтернативные непараметрические тесты для медиан

U-критерий Манна-Уитни — отличный инструмент для сравнения медиан двух независимых выборок. Однако существуют и другие непараметрические тесты, которые могут быть полезны в зависимости от условий эксперимента.

Критерий Уилкоксона для связанных выборок

Если вы проводите A/B-тест на связанных выборках (например, один и тот же пользователь взаимодействует с двумя версиями продукта в разное время, или мы сравниваем показатели до и после изменения для одной и той же группы пользователей), то критерий Уилкоксона для связанных выборок (Wilcoxon Signed-Rank Test) будет более подходящим. Он сравнивает медианы разностей между парными наблюдениями. Это важный момент, ведь многие продуктовые эксперименты могут быть устроены так, что один пользователь проходит через несколько этапов, или мы наблюдаем его поведение до и после определённого воздействия.

Пример: вы обновили дизайн интерфейса личного кабинета и хотите понять, изменилось ли среднее время, которое пользователи проводят на странице «Мои заказы». Если вы сравниваете время, проведённое одними и теми же пользователями до и после обновления, то это парные данные. Критерий Уилкоксона поможет определить, является ли медиана разностей статистически значимой.

Критерий Краскела-Уоллиса для множественных сравнений

Если у вас не две, а три и более тестовых групп (например, A/B/C-тест), и вы хотите сравнить медианы этих групп, то U-критерий Манна-Уитни не подходит, так как он предназначен для попарного сравнения. В этом случае используется критерий Краскела-Уоллиса (Kruskal-Wallis H-test). Он является непараметрическим аналогом однофакторного ANOVA.

Этот тест позволяет определить, есть ли статистически значимые различия между медианами хотя бы одной пары групп. Если Краскел-Уоллис показывает значимые различия, то для определения конкретных групп, между которыми эти различия существуют, применяются апостериорные попарные сравнения (post-hoc tests), часто с коррекцией на множественные сравнения (например, метод Бонферрони или Холма). Использование этого подхода позволяет избежать накопления ошибки первого рода (ложноположительных результатов) при большом количестве сравнений.

Комбинированный подход: медиана и среднее вместе

Выбор между медианой и средним — это не всегда вопрос "или-или". Часто наиболее надёжный подход — использовать оба показателя и понимать их ограничения и сильные стороны. Если среднее и медиана дают схожие результаты, это сигнал о симметричности распределения и отсутствии сильных выбросов, что упрощает интерпретацию.

Однако, когда среднее и медиана сильно различаются, это не повод выбирать что-то одно. Это сигнал для более глубокого исследования данных. Разница между средним и медианой прямо указывает на асимметрию распределения или наличие значимых выбросов. В таком случае медиана покажет типичное значение, а среднее укажет на общий "вес" хвостов распределения. Важно понимать, какой из этих аспектов вы хотите оптимизировать.

Сценарии для комбинированного анализа

• Метрики вовлечения (время на сайте, количество действий): здесь медиана покажет типичное поведение большинства пользователей, в то время как среднее может быть сильно искажено несколькими сверх-активными или, наоборот, быстро уходящими пользователями. Анализ обоих поможет понять, меняется ли общее вовлечение или только поведение крайних сегментов.
• Конверсия в покупку (сумма чека): медиана покажет типичный размер покупки, что важно для понимания основной массы клиентов. Среднее может быть сильно завышено или занижено дорогими или очень дешёвыми покупками. Значительная разница между ними может указывать на то, что новый функционал повлиял либо на клиентов, склонных к дорогим покупкам, либо, наоборот, стимулировал мелкие транзакции.
• Метрики производительности (скорость загрузки, время отклика): медиана укажет на "нормальную" скорость для большинства. Среднее может быть полезно для оценки общего воздействия на инфраструктуру, но может быть искажено редкими, очень медленными откликами из-за проблем с сетью или сервером. В этом случае, анализ 95-го или 99-го перцентиля будет также критичен для понимания опыта "несчастливых" пользователей.

Иными словами, медиана служит отличным индикатором "типичного" пользователя, тогда как среднее может отражать совокупный эффект, включая вклад всех пользователей, даже самых экстремальных. Опытный аналитик не выбирает одно в ущерб другому, а использует их как взаимодополняющие инструменты для всесторонней оценки результатов A/B-тестов.

Практические выводы для продуктового аналитика

Как продуктовый аналитик, вы должны не просто смотреть на одну цифру, а понимать контекст, распределение данных и потенциальное влияние выбросов. Вот ключевые рекомендации:

• Всегда визуализируйте данные: гистограммы и Box Plots — ваши лучшие друзья. Они моментально показывают форму распределения, наличие выбросов и разницу между медианами и средними.
• Определите целевую метрику и её характеристики: перед запуском A/B-теста чётко сформулируйте, что именно вы хотите изменить. Если метрика склонна к перекосам (например, время сессии, доход, количество действий), заранее планируйте использовать медиану и непараметрические тесты.
• Не бойтесь использовать непараметрические тесты: U-критерий Манна-Уитни, критерий Уилкоксона, критерий Краскела-Уоллиса — это мощные инструменты для работы с ненормально распределёнными данными. Они дают надёжные результаты там, где t-тесты не справляются.
• Сравнивайте не только медианы, но и квартили: это даст вам полное представление о том, как изменения повлияли на разные сегменты пользователей, а не только на "среднего" или "медианного" пользователя.
• Используйте комбинированный подход: если среднее и медиана расходятся, это не проблема, а возможность для более глубокого анализа. Поймите, что именно они вам говорят о вашем продукте и пользователях.
• Документируйте свой выбор: если вы решили использовать медиану вместо среднего, чётко обоснуйте это решение в отчёте по эксперименту. Объясните, почему именно этот показатель лучше отражает реальное влияние изменений и почему он более надёжен в данном конкретном случае.
• Остерегайтесь ложных выводов: не делайте поспешных заключений, основываясь на одном показателе. Учитывайте статистическую значимость, размер эффекта, контекст бизнеса и форму распределения данных. Ваше решение должно быть всесторонне обоснованным.

В конечном счёте, цель продуктового аналитика — предоставить максимально точные и надёжные данные для принятия решений. Понимание различий между медианой и средним, а также умение правильно применять соответствующие статистические инструменты, критически важно для достижения этой цели и избежания дорогостоящих ошибок в развитии продукта.