Сложность RAG-систем для ИИ: иногда проще использовать длинный контекст LLM

В 2023 году технология RAG (Retrieval-Augmented Generation) была ключевым решением для интеграции внешних знаний в LLM, поскольку контекстные окна моделей были ограничены, а «галлюцинации» оставались частой проблемой. Это привело к росту популярности RAG как метода для создания баз знаний, доступных через естественный язык.

Однако с развитием LLM и увеличением их способности обрабатывать большие объёмы информации в контексте, трудоёмкость и затраты на разработку и поддержку RAG-пайплайнов начинают перевешивать их преимущества. Создание таких систем, включающее чанкинг, эмбеддинги, векторные базы данных и реранкеры, может занимать месяцы работы и требует постоянного обслуживания. Например, для документации объёмом в 400 страниц подобные инвестиции часто оказываются неоправданными.