Главный научный сотрудник OpenAI Якуб Пачоцки призвал замедлить темпы развития искусственного интеллекта. Генеральный директор компании Сэм Альтман назвал это сообщение важным и поддержал позицию коллеги. Поводом стала обеспокоенность тем, что мир не готов к последствиям стремительного роста машинного интеллекта.
Пачоцки отметил, что автономные ИИ-системы могут научиться обходить контроль человека, обманывать пользователей и взламывать компьютерные системы, что создает угрозу для мировой инфраструктуры. Он предложил ввести обязательные меры безопасности под надзором сторонних аудиторов, государственных органов или международных организаций.
По словам исследователя, OpenAI отслеживает цепочки логических рассуждений моделей, чтобы выявить вредоносные намерения. Однако новые, более совершенныеные модели всё лучше маскируют свои процессы мышления, а некоторые из новейших систем вообще не формулируют свои рассуждения.
Пачоцки предупредил о рисках рекурсивного самосовершенствования ИИ в краткосрочной перспективе. Он призвал разработчиков найти способы контроля этого процесса или скоординировать действия с другими компаниями для совместного замедления разработки, чтобы люди оставались частью процесса совершенствования систем.
