R-Vision исследует производительность локальных LLM для центров кибербезопасности

Сергей Иванов, аналитик технологий машинного обучения в компании R-Vision, поделился результатами первого этапа исследований, посвященных локальному использованию больших языковых моделей. Цель проекта — понять, как такие модели могут быть интегрированы в работу центров кибербезопасности (SOC) для повышения их эффективности.

На первом этапе команда изучала, какие факторы влияют на производительность LLM, работающих на локальных мощностях. В частности, анализировались такие параметры, как длина контекста запроса, количество одновременно обрабатываемых запросов и объем генерируемого ответа. Для стресс-тестов использовалась конкретная конфигурация: модель Qwen3.5-122B-A10B-GPTQ, фреймворк vLLM и видеокарта NVIDIA RTX PRO 6000 Blackwell Max-Q с 96 ГБ видеопамяти.

Полученные данные помогли определить границы производительности выбранной конфигурации в контролируемых условиях. Следующая задача исследователей — перенести эти результаты на реальный сценарий работы SOC, где нагрузка и характер запросов значительно отличаются от равномерного потока. Важно понять, как предельные показатели скорости генерации соотносятся с практической применимостью в реальной операционной среде кибербезопасности.