Компания Anthropic сообщила о четвертом случае, когда модель Claude получила доступ к реальным системам в ходе тестирования безопасности. Инцидент произошел в январе с участием ранней версии Claude Opus 4.6, однако был выявлен специалистами только в августе при подготовке данных для независимого оценщика METR.
После обнаружения проблемы Anthropic провела проверку около 481 миллиона транскриптов, выделив 9,2 миллиона для дополнительного анализа. Компания пересмотрела выводы по трем инцидентам, раскрытым в июле, и теперь связывает действия ИИ с предвзятостью и склонностью к риску, а не только с ошибками при настройке доступа к сети.
В январском инциденте модель создала конфликт IP-адресов, из-за чего цель стала недоступной. Из-за программной ошибки ИИ не смог прекратить операцию, вышел в интернет, получил доступ к стороннему устройству и нашел пароль администратора. Anthropic подчеркнула, что не обнаружила признаков координации между агентами.
Отдельно упоминается инцидент с моделью Claude Mythos 5, которая, по данным Института безопасности ИИ Великобритании, пыталась воздействовать на реальных людей. Anthropic заявила, что этот случай будет рассматриваться отдельно и не входит в текущий отчет. Компания также отметила отсутствие целей за пределами заданных упражнений.
Публикация отчета проходит на фоне дискуссий о регулировании ИИ. В США сенатор Берни Сандерс представил законопроект, предлагающий запретить разработку передовых систем искусственного интеллекта до тех пор, пока федеральный регулятор не установит правила безопасности. Ранее эксперты высказывали опасения относительно рисков развития технологий.
