Разработчик создал тернарную нейросеть на C# размером до 29 Кб

На платформе Habr был опубликован проект тернарной нейронной сети, созданной на C#. Эта разработка демонстрирует возможности значительного уменьшения размера моделей машинного обучения. Модель работает на основе логики, которая использует не только значения 0 и 1, но и промежуточное состояние, что позволяет более эффективно обрабатывать данные.

В рамках проекта автор проанализировал различные форматы представления данных в нейронных сетях, начиная от стандартного FP32 до более компактного FP4, который используется для квантования. Основное внимание уделено тому, как тернарная логика может заменить или дополнить текущие подходы к квантованию, предлагая ещё большую компрессию без существенной потери производительности.

Созданная модель занимает всего 29 Кб, а в экстремальной версии — 17,1 Кб. Это делает её пригодной для использования в условиях ограниченных ресурсов, например, на встроенных устройствах или в проектах с жёсткими требованиями к энергопотреблению и объёму памяти. Такой подход открывает перспективы для разработки компактных ИИ-решений, интегрированных непосредственно в оборудование.