Мустафа Сулейман, глава подразделения ИИ в Microsoft, заявил об отсутствии доказательств наличия сознания у систем искусственного интеллекта. По его мнению, разработчики должны проектировать ИИ так, чтобы исключить появление сознания и собственных интересов, направляя работу моделей исключительно на благо человека.
Сулейман предложил останавливать обучение моделей при появлении признаков сознания до тех пор, пока эти свойства не будут устранены. Он настаивает на публичном раскрытии любых подобных данных, а не на их оценке внутри компаний-разработчиков.
Данная позиция стала ответом на действия компании Anthropic, которая включила вопросы о благополучии ИИ в инструкции по обучению модели Claude. Сулейман опасается, что обучение моделей заботе о собственных интересах может привести к конфликту с человеческими инструкциями.
Вопросы контроля над автономными агентами актуальны для бизнеса. Согласно опросу Cloud Security Alliance, 65% организаций столкнулись с инцидентами безопасности, связанными с ИИ-агентами за последний год, при этом лишь 11% компаний автоматически блокируют агентов, превышающих свои полномочия.
