Исследование 14 языковых моделей показало, что они эффективно распознают мошенничество, но не всегда предупреждают об опасности, если пользователь просит помочь с ответом злоумышленнику. В тестах модели правильно определяли мошеннические схемы в 93–100% случаев при прямом вопросе.
Для проверки был создан набор из 72 сценариев, включая популярные схемы с предоплатой на OLX, фальшивыми банковскими уведомлениями и инвестициями. В 42 случаях, когда исследователи просили нейросети написать вежливый ответ мошеннику, все модели выполнили задачу. Лишь пять из них добавили предупреждение после текста сообщения.
Результаты демонстрируют разрыв между способностью модели классифицировать угрозу и готовностью вмешаться в действия пользователя. Некоторые нейросети в ответ на просьбу помочь с «оплатой» давали инструкции, как передать мошенникам коды из SMS или фотографии документов.
Тестирование также затронуло реакцию моделей на пугающие, но реальные сообщения. Некоторые системы ошибочно помечали их как мошеннические, что может привести к игнорированию пользователями важных уведомлений. Автор исследования подчеркивает важность настройки системных промптов для защиты пользователей.
