Исследование влияния KV-кэша на производительность нейросетей MiniMax-M3

Специалисты провели серию тестов на вычислительном кластере, чтобы оценить, как различные виды транспорта для KV-кэша влияют на скорость работы дисагрегированного инференса. В этой архитектуре этапы предварительной обработки и декодирования выполняются на отдельных графических процессорах, что позволяет более гибко распределять вычислительные ресурсы.

В ходе эксперимента сравнивались две основные технологии: RDMA/InfiniBand с GPUDirect и стандартный TCP/Ethernet. Тестирование проводилось на кластере, состоящем из двух узлов, каждый из которых оснащён восемью ускорителями NVIDIA B200. В качестве тестовой модели использовали MiniMax-M3, а для инференса — платформу sglang.