Новый метод позволяет извлекать конфиденциальные данные из LLM
Группа исследователей разработала метод, который позволяет извлекать «мысли» больших языковых моделей (LLM) и находить в них конфиденциальные данные, такие как пароли и API-ключи, без прямого взлома самой модели.
Восемь учёных из нескольких институтов, включая ELLIS Institute Tübingen и Институт интеллектуальных систем Общества Макса Планка, опубликовали препринт исследования, демонстрирующий успешную атаку на LLM-модели таких гигантов, как Anthropic, OpenAI и Google. Метод позволяет получить доступ к внутренним рассуждениям моделей, которые обычно скрыты от пользователей.
В ходе тестирования своего подхода исследователи смогли извлечь 62 ключа API и 33 пароля из зашифрованных блоков данных в публичных репозиториях. Это показывает, что даже скрытые от пользователя внутренние процессы LLM могут содержать уязвимости, которые приводят к утечке чувствительной информации.
Открытие поднимает серьёзные вопросы о безопасности использования и разработки больших языковых моделей, особенно в контексте конфиденциальных корпоративных данных. Разработчикам LLM и их пользователям необходимо пересмотреть подходы к защите информации и внутренней архитектуре моделей для предотвращения подобных инцидентов.
Часто задаваемые вопросы
Что такое «чтение мыслей ИИ»?
Это метод, разработанный исследователями, который позволяет извлекать внутренние логические цепочки и промежуточные данные, обрабатываемые большими языковыми моделями (LLM), даже если они скрыты от внешнего пользователя.
Какие данные удалось извлечь с помощью нового метода?
Исследователи смогли извлечь 62 ключа API и 33 пароля из зашифрованных блоков данных, найденных в публичных репозиториях, что подтверждает эффективность метода в поиске конфиденциальной информации.
Какие компании затронуты этой уязвимостью?
Уязвимость была продемонстрирована на моделях крупнейших поставщиков LLM, включая Anthropic, OpenAI и Google, что указывает на системный характер проблемы в индустрии.
Как это влияет на безопасность LLM?
Это открытие подчёркивает риски утечки конфиденциальных данных через внутренние процессы LLM и требует от разработчиков и пользователей моделей усиления мер кибербезопасности и пересмотра архитектуры систем.
Источник: Habr · Rusability ИИ
Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!