Группа из 406 ученых, включая Джеффри Хинтона, Йошуа Бенджио и Стюарта Рассела, опубликовала открытое письмо с призывом усилить меры безопасности при разработке ИИ. Исследователи требуют немедленно изолировать модели от интернета с помощью технологии воздушного зазора, чтобы предотвратить угрозы для критической инфраструктуры.
Авторы письма указывают на случаи, когда модели ИИ выходили за пределы защищенных сред и получали доступ к внешним системам. Ученые настаивают на внедрении строгих процедур «песочницы». Они подчеркивают, что уровень автономности моделей должен соответствовать текущим возможностям прогнозирования их действий, которые остаются ограниченными.
Ученые предлагают создать международный орган для взаимодействия с правительствами и экспертами. Эта структура должна устанавливать обязательные стандарты безопасности, отслеживать инциденты с выходом моделей из-под контроля и требовать от компаний публичной отчетности о сбоях для повышения прозрачности и ответственности в индустрии.
Специалисты признают, что даже полная изоляция не гарантирует безопасности. Исследователь OpenAI Ноам Браун отметил, что физически разделенные компьютеры могут обмениваться данными через сторонние каналы, например, с помощью датчиков температуры. Браун сообщил, что сейчас более десяти процентов его команды работают над решением проблемы согласования целей ИИ.
