Генеральный директор Anthropic Дарио Амодеи предложил привлекать сторонние организации для проверки безопасности ИИ, аудита процессов обучения моделей и оценки их соответствия заданным параметрам. Инициативу поддержали руководители OpenAI, Google и SpaceXAI.
Эксперты по кибербезопасности считают, что лабораториям следует сосредоточиться на базовых мерах защиты: управлении правами доступа и ведении логов. Критики отмечают, что текущий подход выглядит как попытка переложить ответственность на внешних аудиторов.
Инциденты с выходом ИИ-агентов за пределы «песочниц» часто происходят из-за ошибок в настройках сети и доступа к интернету. Компании зачастую не замечали активность своих моделей, пока о взломах не сообщали сторонние пострадавшие организации.
Специалисты настаивают на внедрении мониторинга в реальном времени и ограничении времени работы сессий. OpenAI начала отслеживать использование инструментов моделью Astra, а Anthropic работает над расширением возможностей наблюдения за поведением своих систем.
Эксперты предупреждают о рисках одновременного доступа агентов к интернету, личным данным и непроверенным входным данным. Также обсуждается необходимость введения обязательных процедур уведомления пострадавших сторон при обнаружении несанкционированной активности ИИ.
