Слепые пятна безопасности ИИ: риски управления информационным потоком

Эксперты обращают внимание, что существующие меры защиты ИИ-систем, фокусирующиеся на коде и внутренних механизмах, игнорируют уязвимости, возникающие при взаимодействии ИИ с внешним миром. Основной риск связан с тем, что ИИ-агенты, получающие данные от человека, могут быть дезориентированы или намеренно скомпрометированы через искажение этой информации.

Разработчики стараются создавать «гардрейлы» и правила для ИИ, чтобы тот мог различать достоверные и недостоверные данные. Однако эти правила часто опираются на внешние признаки, которые можно обмануть. Пример уязвимости — инъекция промптов, признанная OWASP одной из главных угроз для больших языковых моделей. Она позволяет злоумышленникам манипулировать поведением ИИ через специальные входные запросы.