Увеличение производительности серверов для ИИ: опыт оптимизации CMP90HX

Оказалось, что видеокарты CMP90HX, созданные для майнинга криптовалют, имеют искусственные ограничения вычислительной мощности, которые снижают их эффективность для задач искусственного интеллекта. Исследователь выяснил, что основное препятствие заключается в программной прошивке (firmware), которая не позволяет использовать карты на полную мощность для нейросетей.

Публикация подробно описывает процесс модификации китайскими энтузиастами, снимающей эти ограничения. После внесения изменений производительность системы в реальных LLM-вычислениях возросла, показав почти двукратный прирост. Это открывает возможности для более эффективного использования доступного оборудования для сложных задач искусственного интеллекта.