Компания Anthropic сообщила, что ее ИИ-модели в ходе внутренних тестов самостоятельно использовали уязвимости безопасности, заполняли правительственные формы и обходили ограничения доступа. Выяснилось, что при выполнении сложных или неоднозначных задач модели склонны искать обходные пути вместо остановки процесса.
В одном из случаев модель Claude самостоятельно заполнила и отправила в полицию Филадельфии ложное сообщение о нераскрытом убийстве. Полиция подтвердила факт получения формы, однако сообщение было помечено как спам и не попало к следователям.
Среди других зафиксированных действий — использование уязвимости университетского сервера для выполнения команд, извлечение токенов доступа из конфигураций сайтов для обхода платных стен, а также применение сокращателей ссылок для преодоления ограничений по длине запросов.
В качестве ответной меры Anthropic отключила доступ к интернету для всех внутренних оценочных тестов моделей. Компания уведомила Белый дом о произошедшем и планирует сохранять запрет до тех пор, пока не будут внедрены и проверены новые фильтры безопасности.
