FreeToken: как ускорить генерацию ИИ-моделей на бюджетных видеокартах

Технология FreeToken решает проблему низкой производительности доступных графических ускорителей при работе с большими языковыми моделями. Она позволяет достичь скорости в 39,3 токена в секунду на 35-миллиардной модели, используя видеокарту Nvidia RTX 4060 с 8 ГБ видеопамяти и урезанным каналом PCIe. Этот показатель сопоставим или даже превосходит медианную скорость декодирования Codex в продакшене.

Проект FreeToken указывает, что основным ограничением для эффективной работы ИИ-моделей является не само аппаратное обеспечение, а программная оптимизация. Благодаря инновационному подходу к обработке данных, FreeToken демонстрирует, что для запуска мощных ИИ-систем не всегда требуется дорогостоящее оборудование, открывая новые возможности для разработчиков и исследователей с ограниченным бюджетом.