Qwen3.8-Flash-Next, ИИ-модель на 176 млрд параметров, запущена на GTX 1080 Ti

Этот эксперимент, проведенный энтузиастами, показал возможности запуска масштабных ИИ-моделей на относительно скромном и даже устаревшем оборудовании. Qwen3.8-Flash-Next является ранней версией архитектуры, которую команда Qwen планирует использовать в своей следующей модели Qwen4.

Модель Qwen3.8-Flash-Next представляет собой MoE (Mixture of Experts) архитектуру, где основная часть содержит 125 миллиардов параметров. Дополнительно задействованы около 51 миллиарда параметров для n-gram embedding-таблиц. При этом для обработки одного токена активно используется приблизительно 6 миллиардов параметров, что позволяет эффективно распределять вычислительную нагрузку.