Дообучение ИИ-моделей на Mac снижает «галлюцинации» в RAG-системах
Разработчики успешно дообучили малую языковую модель Qwen3-0.6B на устройствах Mac для повышения точности ответов в системах RAG, сократив количество ошибок втрое за счёт оптимизации обучающих данных.
Специалисты провели эксперимент по дообучению малой языковой модели Qwen3-0.6B, предназначенной для работы в архитектуре RAG (Retrieval-Augmented Generation) прямо в браузере. Изначальная цель заключалась в улучшении способности модели отвечать на вопросы на основе семантического поиска текстовых фрагментов. Однако первые попытки показали контрпродуктивный результат: модель стала чаще генерировать ложные детали, несмотря на снижение показателя validation loss.
Для решения проблемы команда разработала четыре версии обучающих данных. Этот итеративный подход позволил выявить ключевые факторы, влияющие на поведение модели. В итоге удалось значительно уменьшить число так называемых «галлюцинаций» — выдуманных моделью подробностей. Количество таких ошибок сократилось в три раза, хотя и ценой более частых отказов модели от ответа на вопросы, если она не была уверена в точности информации.


Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!