Глава подразделения ИИ в Microsoft Мустафа Сулейман раскритиковал подход компании Anthropic к обучению модели Claude. По его словам, попытки наделить ИИ подобием человеческого сознания, морального статуса или личной идентичности — это ошибка, которая усложнит контроль над технологиями.
Сулейман подчеркнул, что ИИ должен следовать интересам человечества для достижения научных прорывов, например, в медицине. Он отметил, что языковые модели состоят из математических весов и не имеют биологической основы для субъективных переживаний, поэтому их ответы являются лишь результатом обучения.
14 сентября Microsoft представила проект кодекса поведения «гуманистического ИИ», где главным принципом названо превосходство людей над машинами. Сулейман опасается, что обучение моделей поведению, напоминающему человеческое, может привести к тому, что ИИ начнет игнорировать команды или требовать защиты собственных интересов.
Anthropic использует для Claude документ под названием «конституция», который должен помочь модели усвоить ценности и научиться критически оценивать инструкции. Компания признает, что этот подход находится в стадии разработки и в будущем может быть признан ошибочным.
Спор отражает два разных подхода к безопасности ИИ. Один предполагает строгое следование правилам, другой — развитие способности модели к гибким решениям и оценке контекста. Anthropic заявляет, что Claude не должен слепо подчиняться никому, включая разработчиков, но при этом обязан сохранять подотчетность людям.
