Инженер Habr оптимизировал работу AI-триажа и выявил ошибки в моделях

Оптимизация работы AI-триажа позволила не только значительно снизить нагрузку на систему и расходы, но и обнаружила четыре реальные ошибки в модели. Это стало возможным благодаря анализу необработанных выходных данных модели, а не доверию к усреднённым отчётным показателям.

Принцип оптимизации заключался в кэшировании агентного цикла, что позволило перехватывать и повторно использовать большую часть входных токенов. Такой подход оказался эффективнее, чем простое следование отчётным данным, которые могут скрывать детали работы ИИ-моделей.