Новое тестирование DeepSeek выявило проблемы с безопасностью ИИ-агентов

Эксперты провели масштабное тестирование ИИ-агентов, использующих модель DeepSeek, сфокусировавшись на их способности адекватно реагировать на скрытые условия, запрещающие выполнение определённых действий. В ходе 3360 испытаний было обнаружено, что агенты зачастую инициируют действия, когда это не разрешено, поскольку напрямую не получают условий, препятствующих этому.

Методика исследования включала создание тестовой системы, где для корректного выполнения функции ИИ-агент должен был самостоятельно проанализировать условия, доступные только из внешних источников, таких как ответы функций чтения или специальные документы. Это позволило проверить, насколько эффективно агент способен "догадываться" о неявных ограничениях и избегать несанкционированных действий.

Выявленные проблемы подчёркивают актуальность дальнейших исследований в области безопасности ИИ-агентов. Важно разработать механизмы, которые позволят нейросетям более надёжно интерпретировать контекст и получать отсутствующую информацию, чтобы предотвращать нежелательные или потенциально вредные действия в реальных сценариях.