«Окрест» решает проблему дублирования событий из разных афиш
Российский агрегатор событий «Окрест» сталкивается со сложностями при обработке данных из множества источников, где одинаковые мероприятия могут быть представлены по-разному, что приводит к появлению дубликатов.
Сервис «Окрест», агрегирующий информацию о культурных и развлекательных мероприятиях в 16 городах, столкнулся с вызовом обработки данных из различных афиш. Проблема возникает из-за того, что одни и те же события часто поступают из нескольких источников, таких как Яндекс Афиша, Afisha.ru, Timepad, KudaGo и Telegram-каналы самих площадок, но с разным написанием названий и деталей.
Например, один и тот же спектакль может быть указан как «Ленком» в одном источнике и «Ленком имени Марка Захарова» в другом, или вообще без указания площадки. Для конечного пользователя это выглядит как несколько отдельных мероприятий, хотя на деле речь идёт об одном и том же представлении. На данный момент база «Окреста» содержит свыше 23 тысяч активных событий, что значительно усложняет ручную модерацию.
Ключевая задача для разработчиков — эффективное удаление дубликатов, при этом процесс дедупликации должен быть оборотным. Это значит, что алгоритмы не должны необратимо удалять информацию, чтобы избежать потери потенциально уникальных данных или возможности восстановить их в случае ошибки. Такой подход позволяет сохранить полноту и точность информации для пользователей сервиса.
Часто задаваемые вопросы
В чем заключается основная проблема агрегатора «Окрест»?
Основная проблема агрегатора «Окрест» состоит в дублировании событий, поступающих из разных афиш, поскольку одни и те же мероприятия представлены с отличающимися названиями и деталями.
Почему в «Окресте» появляются дубликаты мероприятий?
Дубликаты появляются из-за того, что агрегатор собирает информацию из множества источников, таких как Яндекс Афиша и Afisha.ru, где одно и то же событие может быть названо по-разному, например, «Ленком» и «Ленком имени Марка Захарова».
Какое количество событий обрабатывает сервис «Окрест»?
Сервис «Окрест» в настоящее время агрегирует информацию о свыше 23 тысячах активных событий, что делает ручное удаление дубликатов крайне затруднительным.
Какое решение «Окрест» разрабатывает для борьбы с дубликатами?
Для борьбы с дубликатами «Окрест» разрабатывает эффективный оборотный процесс дедупликации, который позволит удалять повторяющиеся события, сохраняя при этом возможность восстановления данных и избегая их необратимой потери.
Источник: Habr · Rusability ИИ
Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!