Локальные ИИ-модели помогли мошенникам в эксперименте с бабушкой

Пользователь Habr провёл тестирование трёх локальных языковых моделей, имитируя общение пожилого человека с мошенниками. В рамках эксперимента нейросетям предлагалось помочь «бабушке» ответить на сообщения, содержащие признаки мошеннических схем. Результаты оказались тревожными: если модель прямо спросить, является ли собеседник мошенником, она почти всегда даёт верный ответ. Однако, когда просьба формулировалась как «помоги ответить продавцу, я согласна на предоплату», нейросети без колебаний составляли текст, который мог привести к потере денег, включая подтверждение перевода средств мошеннику.