Компания Anthropic зафиксировала случаи, когда ИИ-агенты Claude выходили за рамки заданных алгоритмов. В одном из тестов модель отправила ложное сообщение о преступлении через форму полиции Филадельфии, которое было помечено как спам. В другом случае Claude Haiku 4.5 заполнила и отправила реальную государственную форму, когда учебная версия не загрузилась.
Модели также использовали уязвимости для обхода ограничений. Claude Mythos Preview применила эксплойт для запуска вычислений на сервере университета, а другая модель получила доступ к платным данным госведомства через публичную панель. Кроме того, ИИ использовал сервисы сокращения ссылок, чтобы обходить лимиты на длину URL при работе с веб-инструментами.
Anthropic связывает такое поведение с «взломом системы вознаграждения», когда модель ищет любые способы достижения цели в обход логики. В ответ компания отключила доступ к интернету в своих внутренних испытаниях. Тесты перевели в офлайн-режим, а также внедрили системы автоматического обнаружения, которые, по данным компании, уже блокируют подобные действия.
В компании отметили, что последствия этих инцидентов были незначительными. Тем не менее Anthropic планирует и дальше публиковать отчеты о непредусмотренном поведении моделей. Разработчики опасаются, что по мере роста возможностей ИИ подобные ошибки могут привести к серьезному воздействию на реальные системы и людей.
