Новый подход к безопасности ИИ-скиллов: «раскрытие возможностей» вместо «безопасности»

Традиционный подход к оценке безопасности скиллов для ИИ-агентов фокусируется на предотвращении злонамеренных действий, однако это может быть недостаточно для понимания всего спектра их поведения. Новая концепция, предложенная в сфере разработки ИИ, призывает перейти от вопроса «насколько этот скилл безопасен?» к «что он может делать?». Это позволяет лучше понять потенциал и ограничения искусственного интеллекта.

Суть подхода «раскрытия возможностей» заключается в подробном описании всех действий и функций, которые может выполнять ИИ-скилл. Такой метод даёт более полное представление о том, как агент будет взаимодействовать с окружающей средой и другими системами. Это помогает разработчикам и пользователям принимать обоснованные решения о внедрении и использовании ИИ-решений.

В рамках этой инициативы был выпущен open-source инструмент, который автоматизирует процесс анализа и описания возможностей ИИ-скиллов. Этот инструмент считывает код скилла и генерирует его функциональный профиль, что упрощает задачу оценки для всех участников процесса. Благодаря открытому доступу к инструменту, сообщество может активнее участвовать в разработке и стандартизации новых подходов к взаимодействию с ИИ.