Почему Habr изменил подход к оценке LLM?

Habr изменил подход, потому что их изначальный «AI-судья» не мог точно определить реальную долю решённых обращений и давал завышенные оценки из-за несоответствия текстовых ответов фактическим действиям LLM.

Что такое «фантомные эскалации» в контексте работы LLM?

«Фантомные эскалации» — это ситуации, когда ответы языковой модели звучат правдоподобно, но не соответствуют её реальным внутренним действиям или не ведут к фактическому решению проблемы.

Как новый сервис Habr будет оценивать качество LLM?

Новый сервис Habr будет оценивать качество работы LLM как отдельная система, используя независимые источники для верификации и получения объективной оценки производительности языковых моделей.

В чем заключается основная проблема текстовой оценки LLM?

Основная проблема текстовой оценки заключается в том, что она может считать правдоподобный ответ верным, не проверяя, было ли фактически выполнено необходимое действие или решена ли проблема, что приводит к некорректным метрикам эффективности.

Нейросети18 августа 2026 · 1 мин 0

Habr: как перешли от AI-судьи до внешнего сервиса для оценки качества LLM

Команда Habr разработала и внедрила новый подход к оценке качества работы больших языковых моделей (LLM), отказавшись от внутреннего «AI-судьи» в пользу выделенного внешнего сервиса.

Кратко

Команда Habr перешла от внутреннего «AI-судьи» к выделенному внешнему сервису для оценки качества работы LLM.
Первоначальный «AI-судья» давал завышенную текстовую оценку (18/20) по сравнению с фактической эффективностью (8/20) из-за «фантомных эскалаций».
Новый подход использует независимые источники для получения объективной оценки работы языковых моделей.
Инициатива отражает важность надёжных методов оценки AI-систем в клиентской поддержке.

Первоначальная система, представлявшая собой «AI-судью», оценивала ответы LLM для поддержки пользователей по десяти метрикам, но не могла точно определить долю решённых обращений. Выяснилось, что текстовые проверки часто ошибочно принимали правдоподобные ответы за корректные, подтверждённые реальным решением проблемы. Разрыв между текстовой оценкой (18/20) и фактической эффективностью при работе с инструментами (8/20) указал на несовершенство такого подхода.

Habr: как перешли от AI-судьи до внешнего сервиса для оценки качества LLM

Комментарии (0)

Ещё новости

В Китае представили меры для облегчения финансирования стартапов

Google переносит производство смартфонов Pixel и других устройств из Китая

Paramount потребовала $1,9 млрд у 12 штатов из-за задержки сделки с Warner Bros.

Часто задаваемые вопросы