AI-инженерия: хайп вокруг агентов и недооценка кэширования для экономии токенов

На российском рынке труда наблюдается дисбаланс в восприятии различных аспектов AI-инженерии: запросы на «AI-агентов» встречаются в более чем 1400 вакансиях, в то время как упоминания о «кэшировании промптов», напрямую влияющем на экономическую эффективность работы агентов, присутствуют всего в 13 объявлениях. Разрыв указывает на недостаточное осознание компаниями важности оптимизации затрат на обработку токенов.

Эксперты подчеркивают, что ключевые факторы стоимости работы AI-агента — это количество обрабатываемых токенов и эффективное использование кэширования. Пример из практики показал, что AI-агент за 30 шагов обработал 1,63 миллиона токенов, несмотря на ограничение в 100 тысяч за одну операцию. Внедрение кэширования позволило сократить расходы на аналогичную задачу в 6,6 раза, демонстрируя значительный потенциал экономии.