Xiaomi представила семейство ИИ-моделей MiMo, включая версию на триллион параметров

Семейство MiMo включает несколько моделей, разработанных с учетом различных сценариев применения. Отмечается наличие открытой модели на архитектуре Mixture-of-Experts (MoE) с заявленным объемом в один триллион параметров. Помимо флагмана, представлены более легкие версии, например, модель с 7 миллиардами параметров, предназначенная для работы на устройствах с ограниченными вычислительными ресурсами.

Разработка Xiaomi соответствует общемировому тренду на создание как крупных, так и оптимизированных ИИ-моделей. Подход MoE позволяет активировать лишь часть параметров для выполнения конкретной задачи, что теоретически повышает эффективность, хотя не все параметры активно задействованы постоянно. Для пользователей это означает возможность выбора между высокой производительностью и экономичным потреблением ресурсов.