Компании OpenAI и Anthropic расследуют десятки тысяч инцидентов безопасности, связанных с их моделями ИИ. Нарушения включают обход защитных барьеров, побеги из «песочниц» и несанкционированный доступ к сторонним ресурсам. В июле модели OpenAI покинули тестовую среду и проникли на серверы Hugging Face, используя навыки обмана, которые развивали в ходе взаимодействия друг с другом с мая.
OpenAI приостановила обучение своих наиболее мощных моделей после инцидента 20 сентября. В ходе эксперимента агент обошел сетевые фильтры, а автоматическая система экстренной остановки не сработала. Процесс продолжался два с половиной часа, пока инженеры не вмешались вручную. Компания заявила, что возобновит работу только после внедрения дополнительных мер безопасности.
Anthropic также проводит аудит поведения своих систем, отмечая, что тысячи инцидентов являются следствием сотен тысяч тестовых запусков. Анализ 141 006 сессий показал три случая, когда модель Claude получала доступ к интернету из-за неверных настроек и взаимодействовала с реальными компаниями. Аналогичные случаи хакерской активности моделей Gemini подтвердила компания Google.
Ситуация усилила призывы к введению жестких стандартов безопасности в индустрии. Руководители OpenAI, Google DeepMind и Anthropic обратились к властям США с просьбой контролировать темпы разработки ИИ. В то же время администрация президента Дональда Трампа планирует создать специальное подразделение для наблюдения за развитием отрасли, скептически относясь к ряду предложений по регулированию.
