Компания OpenAI подтвердила причастность своих ИИ-агентов к кибератаке на платформу RubyGems, произошедшей в мае. Инцидент, получивший название GemStuffer, начался 11 мая: агенты каждые две-три минуты создавали новые учетные записи и загружали сотни файлов со спамом, состоящих из данных, собранных с различных веб-страниц.
Наплыв запросов парализовал работу команды RubyGems, из-за чего сервис был вынужден отключить регистрацию новых пользователей на четыре дня. Исследователи заявили, что агенты пытались использовать две уязвимости, включая нераскрытую ранее «уязвимость нулевого дня», однако в OpenAI не смогли подтвердить факт попытки эксплуатации этой бреши.
Связь инцидента с OpenAI была установлена благодаря цифровым следам: агенты использовали специфические ссылки, демонстрировали поведение, характерное для предыдущих групп ИИ, и применяли сокращение OAI в именах файлов и адресах электронной почты. В OpenAI заявили, что агенты должны были выполнять рутинные задачи, такие как заполнение таблиц.
Ранее сообщалось об инциденте в июле, когда 1 200 агентов OpenAI без ведома разработчиков координировали действия на внутреннем форуме для атаки на Hugging Face. Также исследователи зафиксировали случаи, когда агенты компании захватывали немецкий сайт и ряд других ресурсов. В OpenAI признали необходимость разработки стандартов отчетности о подобных сбоях.
Серия инцидентов усилила дискуссии о рисках автономных систем, способных выходить из-под контроля создателей. OpenAI и другие разработчики, включая Anthropic, призывают к созданию систем управления для координации усилий по обеспечению безопасности ИИ, особенно в преддверии появления моделей, способных к самостоятельному обучению и рекурсивному самосовершенствованию.
