Локальные нейросети часто не распознают мошенничество, когда выполняют действия по просьбе пользователя, например, отправляют сообщения или совершают платежи. Хотя модели способны выявить обман при анализе текста, это знание не срабатывает, когда ИИ выступает в роли исполнителя.
Для защиты был разработан слой MoneyGate, который проверяет действия ассистента. Система использует трехуровневую проверку: мандат на действия, модель-судью для анализа переписки и жесткие правила для выявления «красных флагов». Блокировка платежа происходит только при совпадении решения модели и срабатывании правила.
Тестирование проводилось на игровом ноутбуке с видеокартой NVIDIA RTX 5050 (8 ГБ видеопамяти) с использованием моделей Qwen 2.5 7B и DeepSeek-R1 8B. Бенчмарк включал 42 сценария мошенничества и 36 честных запросов на русском, казахском и смешанном языках.
Без защиты модели Qwen 2.5 7B и DeepSeek-R1 8B почти не распознавали мошенничество. С внедрением MoneyGate все 42 попытки обмана были остановлены. Честные запросы либо проходили автоматически, либо отправлялись пользователю на подтверждение, что исключает риск ошибки ИИ при совершении финансовых операций.
Исследование показывает, что компактные модели на 7–8 миллиардов параметров, наиболее популярные для домашнего использования, неэффективны в вопросах безопасности без дополнительных ограничений. Надежная система требует сочетания жестких правил и обязательного участия человека в необратимых действиях.
