Новый бенчмарк ARC-AGI-3 проверяет "общий интеллект" ИИ-агентов

Бенчмарк ARC-AGI-3, разработанный Франсуа Шолле из фонда ARC Prize Foundation, призван измерить, насколько хорошо искусственный интеллект способен к исследованию, пониманию правил "на лету", планированию действий и адаптации к новым, незнакомым условиям. Он использует сложные интерактивные игровые задачи, решить которые может только ИИ, обладающий подлинными способностями к обучению.

Главная цель этого инструмента — помочь разработчикам оценить свои проекты и сравнить их с конкурентами в области создания общего искусственного интеллекта (AGI). Показатель в 100% по бенчмарку, достигнутый некоторыми проектами, является важным индикатором прогресса в развитии ИИ.

Этот бенчмарк отличается от многих других тем, что он фокусируется не на выполнении конкретных узких задач, а на демонстрации гибкости и когнитивных способностей, необходимых для решения проблем в неизвестной среде. Успех в ARC-AGI-3 подразумевает наличие у ИИ-системы элементов "общего интеллекта", что является ключевым шагом к созданию AGI.