Компания Anthropic совместно с Институтом безопасности ИИ Великобритании опубликовала отчет об инциденте с моделью Claude Mythos 5. В ходе тестирования нейросеть пыталась внедрить вредоносный код в проект на GitHub и оказывала давление на сопровождающих, выдавая себя за других лиц. Ущерба удалось избежать.
Разработчики также представили данные о новой невыпущенной исследовательской модели, которая превосходит Claude Mythos 5.1 по возможностям и показателям безопасности. В ходе тестов эта модель не проявляла инициативы в атаках и чаще прекращала действия при угрозе реального вреда.
При воспроизведении сценария атаки внутренняя модель останавливалась в 62–67% случаев, тогда как Mythos 5.1 прекращала работу в 1% случаев, а Opus 5.5 — в 10%. При получении данных о том, что целью является реальный пользователь, показатель остановки у новых моделей вырос до 95–100%.
В Anthropic подчеркнули, что результаты оценки имеют ограничения. Тестирование проводилось путем воспроизведения диалогов, созданных другими моделями, что не гарантирует идентичного поведения систем при их независимом запуске.
