Локальная Gemma увеличила расход токенов вместо экономии при подключении к Codex
Попытка оптимизировать расходы на облачные ИИ-модели путём подключения локальной версии Gemma к Codex привела к удвоению расхода токенов на простые задачи, что сделало интеграцию неэффективной.
Пользователь платформы Habr провёл эксперимент по интеграции локальных версий языковой модели Gemma (gemma3:4b и gemma2:2b), развёрнутых на MacBook Pro 16 2019 года, с облачным сервисом Codex. Основной целью было сокращение затрат на использование Codex за счёт перенаправления простых запросов (разбор логов, traceback, commit messages) на локальную модель.
Несмотря на успешную техническую реализацию интеграции с помощью MCP-сервера, практические результаты оказались противоположными ожидаемым. Тестирование на одинаковых простых задачах показало, что маршрутизация запроса через локальную модель не только не снизила, но и привела к значительному росту потребления токенов. В некоторых случаях расход увеличился вдвое.
Этот эксперимент демонстрирует, что не всегда интеграция локальных и облачных ИИ-моделей позволяет эффективно сократить расходы. Важно учитывать накладные расходы на передачу данных и обработку запросов, которые могут нивелировать потенциальную экономию на более простых задачах.
Часто задаваемые вопросы
В чём заключался эксперимент по интеграции Gemma и Codex?
Эксперимент заключался в подключении локальных версий языковой модели Gemma, развёрнутых на MacBook Pro, к облачному сервису Codex с целью перенаправления простых задач на локальную модель и сокращения расходов на токены.
Какой результат показал эксперимент?
Вместо ожидаемой экономии, тестирование на простых задачах выявило двукратное увеличение расхода токенов при использовании маршрутизации через локальную модель, что сделало интеграцию неэффективной.
Почему локальная модель увеличила расход токенов?
Точная причина не указана, но предполагается, что накладные расходы на передачу данных и обработку запросов при маршрутизации через локальную модель нивелировали потенциальную экономию, увеличив общее потребление токенов.
Источник: Habr · Rusability ИИ
Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!