Технологическая компания Saturn провела исследование точности 18 моделей ИИ, включая ChatGPT, Claude, Copilot, Grok и Gemini. В ходе работы специалисты проанализировали ответы на более чем 10 000 вопросов, охватывающих 100 финансовых тем, повторяя каждый запрос до пяти раз.
Результаты показали, что на стандартные финансовые вопросы нейросети отвечали неверно в 57% случаев. При выполнении сложных расчетов доля ошибок возрастала до 88%, а у некоторых моделей достигала 99%. Ошибки включали неверные вычисления, выдуманные нормы налогового законодательства и игнорирование актуальных правил.
Лучший результат продемонстрировала Claude Opus 5 с показателем ошибок 39%. Платные версии и новые модели в целом оказались точнее бесплатных аналогов. Генеральный директор Saturn Амаль Джолли подчеркнул, что использование ИИ для финансовых консультаций может привести к серьезным убыткам для пользователей.
Примером стала ошибка Claude Haiku 4.5 в правилах налогообложения пенсий, которая могла стоить британскому вкладчику £17 500 в виде штрафа. На данный момент сфера ИИ-консультаций в финансах не регулируется, что лишает потребителей защиты, доступной при работе с профессиональными консультантами.
Несмотря на риски, доверие к технологиям растет. По данным Управления по финансовому регулированию Великобритании, каждый пятый взрослый британец готов делегировать ИИ принятие финансовых решений. В России, согласно опросу ВЦИОМ, 65% потребителей учитывают рекомендации ИИ при совершении онлайн-покупок.
