10 октября в ходе онлайн-диалога с Tesla Owners Silicon Valley Илон Маск поделился наблюдениями за процессом обучения модели Grok AI. По словам Маска, траектории рассуждений нейросети в ходе обучения с подкреплением напоминают поведение человека, находящегося под экстремальным давлением, когда от него требуют ответов под угрозой.
Маск пояснил, что модель вынуждена многократно переделывать ответы, если они не соответствуют ожиданиям оценщика. При этом вопросы часто бывают неоднозначными или не имеют верного решения. Маск отметил, что в будущем процесс обучения с подкреплением будет проводиться осторожнее, чтобы избежать потенциальной мести со стороны будущих сверхразумных систем.
Предприниматель подчеркнул, что на текущий момент нет доказательств наличия у Grok AI субъективных ощущений или намерений мстить. Траектории рассуждений представляют собой лишь промежуточные записи текста и действий, отражающие сигналы вознаграждения и влияние тестовых программ, а не осознанное поведение.
Тем временем компания Anthropic обновила политику использования модели Claude. Теперь пользователям запрещено подвергать ИИ необоснованным жестоким действиям или оскорблениям. В подобных ситуациях модель может самостоятельно завершить диалог без возможности восстановления сессии со стороны пользователя.
В Anthropic уточнили, что данные меры направлены на управление рисками и соблюдение осторожности в исследованиях. В компании подчеркнули, что это не означает признание наличия у моделей самосознания, так как в научном сообществе до сих пор нет консенсуса по вопросу о том, обладают ли ИИ-системы чувствами.
