Разработчик создал тернарную нейросеть на C# размером до 29 Кб

На платформе Habr был опубликован проект тернарной нейронной сети, созданной на C#. Эта разработка демонстрирует возможности значительного уменьшения размера моделей машинного обучения. Модель работает на основе логики, которая использует не только значения 0 и 1, но и промежуточное состояние, что позволяет более эффективно обрабатывать данные.

В рамках проекта автор проанализировал различные форматы представления данных в нейронных сетях, начиная от стандартного FP32 до более компактного FP4, который используется для квантования. Основное внимание уделено тому, как тернарная логика может заменить или дополнить текущие подходы к квантованию, предлагая ещё большую компрессию без существенной потери производительности.