Создан винный бенчмарк OenoBench для оценки знаний LLM
Разработчик создал OenoBench, бенчмарк из 3266 вопросов о вине, чтобы измерить фактические знания больших языковых моделей (LLM), используя для его сборки исключительно ИИ-агентов.
Опытный разработчик собрал винный бенчмарк OenoBench, который включает 3266 вопросов с вариантами ответов на основе 38 104 фактов из открытых источников. Этот проект был направлен на оценку реальных знаний шестнадцати различных языковых моделей в области виноделия.
В процессе создания бенчмарка почти вся работа была автоматизирована: код для проекта написал Claude Code, вопросы генерировали пять различных моделей, а их проверкой занимались десять аудиторских агентов. Человеческое участие ограничивалось экспертной оценкой винной тематики.
В ходе исследования было выявлено, что 17 из 35 скраперов, использованных для сбора информации, оказались «гарантированным фоллбеком» из памяти моделей, что заставило разработчика создать инвариант для предотвращения подобных ошибок в будущем. Общие затраты на API для проекта составили около 800 долларов.
OenoBench представляет собой значительный шаг в измерении предметных знаний LLM, особенно в узкоспециализированных областях, и демонстрирует потенциал использования ИИ для создания сложных оценочных систем.
Часто задаваемые вопросы
Что такое OenoBench?
OenoBench — это специализированный бенчмарк, состоящий из 3266 вопросов о вине, предназначенный для измерения фактических знаний больших языковых моделей.
Как был создан OenoBench?
Бенчмарк был разработан с помощью ИИ-агентов: Claude Code написал код, пять моделей генерировали вопросы, а десять аудиторских агентов проверяли их корректность. Человек отвечал за винную экспертную оценку.
Какие результаты показал бенчмарк?
В ходе тестирования 16 языковых моделей были выявлены особенности их работы с фактическими данными, включая случаи, когда модели использовали информацию из собственной памяти вместо предоставленных источников. Это привело к разработке улучшенного метода сбора данных.
Сколько стоила разработка OenoBench?
Затраты на API для создания бенчмарка составили около 800 долларов.
Источник: Habr · Rusability ИИ


Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!