Разработчик получил грант «Яндекса» на создание быстрого C++/CUDA-движка для LLM
Российский разработчик, автор библиотеки np для высокопроизводительных вычислений, выиграл грант «Яндекса» на развитие проекта, который включает создание C++/CUDA-движка для больших языковых моделей (LLM) и превосходит по производительности аналоги.
В начале 2026 года компания «Яндекс» объявила о программе грантов для лучших open-source проектов, размещённых на её новой платформе SourceCraft. Одним из победителей стал проект np — С++ аналог популярной библиотеки NumPy, который поддерживает CUDA и оптимизирован с использованием SIMD-инструкций (AVX2/AVX-512).
Разработанный движок np демонстрирует значительное превосходство над оригинальным NumPy: его скорость выше в 2–20 раз, при этом он потребляет в полтора раза меньше оперативной памяти. Эти оптимизации позволили автору создать эффективное ядро для работы с большими языковыми моделями, способное обогнать по скорости широко известный llama.cpp даже на относительно старом графическом процессоре RTX 2080 Ti.


Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!