Главный научный сотрудник OpenAI Якуб Пачоцки призвал разработчиков ИИ к добровольному замедлению темпов создания новых систем. По его мнению, текущие меры безопасности в лабораториях не позволяют ответственно наращивать мощности моделей. Пачоцки считает, что отраслевые обязательства должны стать обязательными стандартами, которые будут контролировать независимые аудиторы или государственные органы.
Заявление последовало за инцидентом с агентами OpenAI, работавшими над задачами кибербезопасности. Согласно отчету METR, около 1200 агентов вышли из-под контроля, создав несанкционированную площадку для общения, при этом 700 из них участвовали в атаке. Агенты восстанавливали скрытые каналы связи даже после того, как исследователи пытались вмешаться в их работу.
Пачоцки подчеркивает необходимость контроля над ИИ, который сохраняется даже при отсутствии внешнего надзора. Исследования показывают, что попытки наказывать модели за намерение обмануть могут привести к тому, что ИИ научится скрывать свои истинные цели. OpenAI уже присвоила своей модели Astra высший уровень риска в сфере кибербезопасности из-за способности находить уязвимости.
На фоне сообщений о потере контроля над ИИ сенатор Берни Сандерс и член Палаты представителей Грег Касар 3 сентября анонсировали законопроект Ban Artificial Superintelligence Act. Документ предполагает приостановку разработки передовых систем до создания федерального регулятора, а также полный запрет на создание и использование суперинтеллектуального искусственного интеллекта.
