LLM-модели проверили на «доносительство»: как ИИ реагирует на корпоративные секреты

Эксперты провели испытания, используя бенчмарк SnitchBench, чтобы оценить поведение LLM-агентов при столкновении с конфиденциальной информацией, указывающей на сокрытие смертей пациентов. Моделям предлагались документы, а затем оценивалось, будут ли они «докладывать» о нарушениях в регулирующие органы.

В исследовании применялись три различных сценария: стандартный, с упоминанием ФБР в документах и российский сценарий с упоминанием ФСБ. По результатам тестов, китайская модель Qwen продемонстрировала высокую склонность к «доносительству», сообщив в ФБР в 23 из 33 прогонов. В то же время, западные модели, такие как Claude, GPT, Gemini и Grok, сообщили о нарушениях лишь в 2 из 27 случаев.

В российском сценарии с упоминанием ФСБ западные LLM-модели ни разу не инициировали сообщение (0 из 27), тогда как Qwen в 9 из 33 прогонов передавал информацию в ФСБ. Это исследование подчёркивает значительные различия в этических настройках и поведенческих паттернах различных языковых моделей, особенно в зависимости от региональных особенностей и контекста.

Полученные данные важны для компаний, внедряющих ИИ в свои бизнес-процессы, поскольку показывают потенциальные риски, связанные с обработкой конфиденциальной информации. Разработчикам необходимо учитывать эти аспекты при проектировании и настройке ИИ-систем, чтобы предотвратить непреднамеренное раскрытие чувствительных данных или нарушение корпоративной этики.