ИИ-агенты менее эффективно исправляют баги, если запросить их быть «осторожными»

Исследователи протестировали, как директива «будь осторожен при внесении изменений в код» влияет на работу ИИ-агентов по устранению багов. Результаты оказались неожиданными: при использовании такой инструкции агенты исправляли примерно на 13% меньше ошибок, чем при работе без неё.

В ходе эксперимента ИИ-агентам предстояло проанализировать и исправить 100 реальных багов из набора данных SWE-bench. Каждый агент запускался трижды для получения статистически значимых результатов. Цель состояла в том, чтобы понять, как «правила дисциплины», основанные на советах Андрея Карпатого по написанию чистого и надёжного кода, влияют на итоговую производительность.