MoE-модели для локального кодинга: выбрана оптимальная модель для GTX 1080 Ti

Эксперты провели сравнительный анализ нескольких MoE-моделей (Mixture of Experts) объемом 35B, 120B и 176B для использования на домашнем компьютере с видеокартой NVIDIA GTX 1080 Ti и 11 ГБ видеопамяти. Целью исследования был поиск наиболее эффективной модели для решения реальных задач кодирования, в частности, написания простого погодного сервера на языке Go.

Ранее уже подтверждена возможность запуска 176B-класса Qwen3.8-Flash-Next на указанной конфигурации с использованием llama.cpp и DeepSeek Harness, хотя и со скромной скоростью около 11 токенов в секунду. Новое тестирование выявило, что применительно к конкретной задаче кодинга, не самая крупная модель оказалась наиболее производительной.

В результате испытаний неожиданным лидером стала модель Qwen3.8-Flash-Next, показавшая лучшее сочетание качества генерации кода и скорости работы на ограниченных ресурсах. Этот результат подчеркивает, что выбор большой модели не всегда гарантирует оптимальный результат, особенно при работе на менее мощном оборудовании, и требует тщательного тестирования в реальных сценариях.