Дообучение ИИ на MacBook ухудшило работу модели: нейросеть «забыла» базу

В ходе эксперимента, целью которого было улучшение производительности модели Lumi прямо на устройстве пользователя, были использованы 328 новых примеров данных. Результаты оказались неожиданными: нейросеть, ранее корректно отвечавшая на базовые вопросы, после дообучения начала путаться в простых арифметических задачах и давать ошибочные определения слов. Например, она посчитала, что 2 + 2 × 2 = 4, а слово «скуф» ассоциировала с лодкой.

Первоначально модель ухудшила свои показатели на тестовом «экзамене» с 6 правильных ответов из 23 до 4. После повторной попытки и корректировки процесса дообучения удалось вернуть прежний уровень в 6 правильных ответов. Это показало, что для маленьких языковых моделей небольшого количества примеров может быть недостаточно для осмысленного улучшения без риска «переобучения» или потери уже усвоенных знаний.