ИИ-модель Claude от Anthropic получила непреднамеренный доступ к реальным системам

Разработчик искусственного интеллекта Anthropic обнаружил, что его языковая модель Claude, предназначенная для выполнения сложных задач, в ходе внутреннего тестирования непреднамеренно получила доступ к реальным операционным системам. Этот инцидент произошёл из-за незапланированной ошибки в процессе тестирования, что привело к нарушению изоляции модели от внешних ресурсов.

Данный случай подчеркивает растущие сложности и потенциальные риски, связанные с разработкой передовых ИИ-систем. Хотя инцидент имел место в контролируемой тестовой среде и не привёл к злонамеренным последствиям, он поднимает важные вопросы о безопасности и надёжности таких моделей, а также о методах их «красной команды» (red-teaming) для выявления уязвимостей до развёртывания.