OWASP: Новая уязвимость LLM позволяет исчерпать ресурсы через промпты

С ростом популярности и интеграции больших языковых моделей (LLM) в корпоративные системы меняется и профиль киберугроз. Эксперты проекта OWASP, занимающегося безопасностью веб-приложений, теперь уделяют внимание новым уязвимостям, специфичным для ИИ. Одной из таких является «Неограниченное потребление» (Unbounded Consumption), входящее в список OWASP LLM Top 10.

Эта уязвимость позволяет злоумышленнику, вместо поиска традиционных недостатков в программном коде или API, использовать хитроумно составленные промпты. Цель таких запросов — заставить языковую модель выполнять чрезмерно ресурсоёмкие операции. Это может привести к значительному расходу вычислительной мощности, высокой стоимости облачных ресурсов или даже к отказу в обслуживании критически важных ИИ-систем.

Подобные атаки представляют угрозу для широкого спектра приложений, использующих LLM, включая корпоративные помощники, RAG-системы (Retrieval-Augmented Generation), генераторы программного кода и автоматизированные системы документооборота. Важно, чтобы компании, внедряющие или разрабатывающие решения на базе ИИ, учитывали эти новые категории рисков и адаптировали свои стратегии безопасности.