Мини-ПК на Ryzen AI Max+ успешно протестирован в нагрузках с ИИ

Тестирование, проведенное специалистами, показало, что мини-компьютер Beelink GTR9 Pro способен обрабатывать 32 одновременных ИИ-запроса, достигая пиковой скорости в 236 токенов в секунду. Даже при продолжительной 30-минутной непрерывной нагрузке, общая скорость генерации держалась на уровне 226 токенов в секунду, что свидетельствует о стабильной работе устройства без снижения производительности из-за перегрева.

Однако в процессе испытаний были выявлены и сложности. Так, наблюдались воспроизводимые падения пропускной способности, а также было замечено, что спекулятивное декодирование, призванное ускорять процесс, в некоторых сценариях приводило к обратному эффекту. Эти наблюдения подчеркивают важность тщательного подхода к оптимизации программного обеспечения и настройке систем для достижения максимальной эффективности ИИ-вычислений на таких устройствах.

Полученные результаты имеют значение для развития технологий периферийных вычислений (edge computing), позволяя локально разворачивать более сложные ИИ-модели. Производительность современных мини-ПК позволяет использовать их для задач, требующих быстрого ответа и обработки данных в реальном времени, без постоянной зависимости от облачных сервисов.