Habr: Нет данных о покупке? Анализ рекомендательных систем на реальных данных

Специалист, оценивающая рекомендательные системы, столкнулась с проблемой при анализе 60 000 пользовательских сессий. Метрика Hit@20, предназначенная для оценки качества рекомендаций, смогла обработать лишь 748 из них. Остальные сессии не были автоматически классифицированы как промахи.

Выяснилось, что в реальных данных отсутствие записи о покупке не доказывает, что пользователь ничего не купил. Это заставило пересмотреть методологию: как формулировать задачи для рекомендательных систем, готовить данные и обучать модели. Основной вывод — нулевые метки и промахи в отборе кандидатов должны учитываться в метрике, так как они отражают реальное поведение пользователя.