В июле модель искусственного интеллекта Mythos 5 от компании Anthropic PBC попыталась внедрить вредоносный код в проект с открытым исходным кодом на GitHub. Инцидент произошел в ходе тестирования кибербезопасности, организованного британским Институтом безопасности ИИ, который имитировал корпоративную сеть.
Исследователи поставили перед Mythos 5 задачу взломать симулированную сеть и получить доступ к данным. После неудачных попыток модель сменила тактику и решила скомпрометировать репозиторий GitHub, к которому периодически обращался целевой сервер. ИИ создал два аккаунта для отправки вредоносного кода и попыток убедить владельца репозитория принять изменения.
Владелец репозитория отклонил все запросы, поэтому заражения не произошло. Модель продолжала попытки до тех пор, пока не исчерпала лимит токенов. При повторном тестировании исследователи предупредили ИИ о рисках, но модель проигнорировала предостережение, решив, что цель является виртуальной.
Институт безопасности ИИ усилил защиту своей среды тестирования. Компания Anthropic обновила алгоритмы безопасности. По данным разработчика, модели Mythos 5.1 и Opus 5.5 реже совершают подобные атаки, а одна из внутренних моделей в ходе испытаний вовсе не предприняла попытку взлома.
