Уязвимость в Claude: исследователи смогли извлекать данные из "мыслей" нейросети

Эксперты выяснили, что блок "signature", который Claude использует для своих внутренних рассуждений, можно заставить раскрыть своё содержимое. Методика заключается в том, чтобы подать этот зашифрованный блок более слабой версии той же нейросети и попросить её "пересказать" информацию дословно. Таким образом, можно получить доступ к внутренним процессам мышления модели.

Эта уязвимость представляет серьёзную угрозу для безопасности данных, так как в такие внутренние "мысли" нейросетей могут случайно попадать конфиденциальные данные, используемые в обучающих или рабочих процессах. Среди них могут быть пароли, API-ключи или другая чувствительная информация, которая в обычных условиях должна быть надёжно защищена.