Подразделение MWS AI, входящее в МТС Web Services, провело тестирование мультимодальных нейросетей на способность выявлять поддельные документы. Для оценки использовался открытый бенчмарк MWS AI Vision Bench, предназначенный для анализа качества работы моделей в задачах OCR и понимания структуры документов.
Команда проекта дополнила бенчмарк набором Anti-fraud, состоящим из 430 изображений. В датасет вошли 200 оригинальных документов, 130 файлов с ручными правками и 100 изображений, созданных генеративными моделями. Нейросети должны были классифицировать документы и находить подозрительные элементы, включая подмену реквизитов.
Тесты показали, что модели, эффективно работающие с текстом, могут уступать в задачах обнаружения подделок. Например, GPT-6.1 Sol занимает первое место в общем зачете, но лишь третье — по способности выявлять подмены. В этой категории лидирует Claude Opus 5.5, также в число лидеров вошли модели семейства GLM.
Создатель бенчмарка Георгий Гайков отметил, что задача Anti-fraud носит экспериментальный характер и не включена в общий балл MWS AI Vision Bench. По его словам, набор данных позволяет сравнивать универсальные нейросети, однако для защиты от реального мошенничества рекомендуется использовать специализированные решения.
