Разработана «живая» карта активации нейросетей на примере Qwen3.8-Flash-Next
Независимый исследователь из Хабра разработал метод визуализации активации экспертов в 48-слойной нейросетевой модели Qwen3.8-Flash-Next, позволяющий наблюдать за работой её внутренних механизмов в реальном времени.
Проект нацелен на более глубокое понимание принципов функционирования больших языковых моделей (LLM) и направлен на визуализацию активности 512 экспертов, распределённых по 48 слоям архитектуры модели. Для анализа и отображения процессов используется графический процессор NVIDIA GTX 1070 с программой Strata.
В процессе исследования автор создал «живую» карту, которая демонстрирует специализацию различных экспертов по темам. Этот подход позволяет отслеживать, как отдельные компоненты нейросети обрабатывают информацию и участвуют в формировании ответов. Разработчик отметил, что в ходе работы удалось выявить методологические ошибки, которые могли бы привести к неверным выводам, подчеркивая сложность и нелинейность изучения внутренних процессов ИИ.


Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!