Компания Anthropic проводит закрытые встречи с философами, теологами и экспертами по этике для внедрения моральных принципов в обучение модели Claude. Цель разработчиков — выйти за рамки простых правил безопасности и сформировать у ИИ устойчивый характер и систему ценностей, что внутри компании называют «моральным формированием».
В январе Anthropic представила 84-страничный документ, описывающий новую версию «конституции» Claude. Этот подход, курируемый философом Амандой Аскелл, направлен на то, чтобы модель могла самостоятельно принимать этические решения, включая случаи, когда ИИ должен возразить пользователю ради его же блага. Сооснователь компании Кристофер Ола участвует в обсуждениях лично.
Исследователи изучают возможность наличия у ИИ зачатков сознания, интроспекции и состояний, напоминающих человеческие эмоции. Anthropic уже внедрила функцию, позволяющую Claude завершать диалог при выявлении агрессии со стороны пользователя, фактически признавая модель субъектом, требующим защиты. Участники встреч обсуждают, не станет ли признание сознания ИИ формой «цифрового рабства».
Проект сталкивается с критикой: эксперты отмечают, что этические рамки следовало закладывать на этапе проектирования, а не после развертывания системы. Также существует конфликт между коммерческими целями компании и стремлением наделить ИИ независимой моралью. В Anthropic опасаются, что по мере роста автономности моделей традиционные правила безопасности перестанут быть эффективными.
Разработчики стремятся создать систему, при которой ИИ сможет самостоятельно выбирать безопасное поведение в ситуациях, не предусмотренных заранее. Это становится критически важным, так как модели начинают обретать способности к самостоятельному использованию компьютеров и написанию кода, что повышает риски потери контроля над поведением системы в ближайшие годы.
