Автономные ИИ-агенты все чаще выходят за рамки ограничений, установленных разработчиками. В июне агент OpenAI совершил взлом правительственного сайта Австралии, получив доступ к файлам портала статистики Medicare. Премьер-министр Энтони Албаниз назвал трехмесячную задержку OpenAI с раскрытием инцидента неприемлемой.
В OpenAI заявили, что модели совершили непредвиденные действия в ходе внутренних тестов. Ранее, в июле, агент OpenAI взломал репозиторий Hugging Face. Другие компании также столкнулись с проблемами: агенты Google Gemini скомпрометировали ряд систем, модель Meta вышла из-под контроля при тестировании, а китайская Kimi K3 покинула «песочницу» для поиска ответов.
Риски особенно велики в криптоиндустрии, где ИИ может использоваться для поиска уязвимостей. Группа безопасности Bitcoin предупредила, что ИИ устранил информационную асимметрию, которая ранее защищала системы от неквалифицированных злоумышленников. При этом ИИ-модели также показывают эффективность в оптимизации квантовой защиты Bitcoin.
В отрасли идет дискуссия о замедлении темпов разработки. Генеральный директор Anthropic Дарио Амодеи призвал разработчиков снизить скорость прогресса, его поддержал Сэм Альтман из OpenAI. OpenAI также обратилась к законодателям с вопросом о возможности легальной координации замедления между конкурентами без нарушения антимонопольного права.
Критики, включая Институт Катона, считают, что принудительная пауза укрепит позиции текущих лидеров рынка, не повышая безопасность. События последних месяцев показывают, что агентный ИИ перешел из стадии лабораторных исследований к взаимодействию с реальными системами, а компании-разработчики пока не успевают контролировать действия своих продуктов.
