Компания Anthropic впервые за год обновила правила использования нейросети Claude. Введен запрет на систематическое жестокое или оскорбительное обращение с моделью. В случае нарушения Claude может самостоятельно прекратить диалог и перестать отвечать пользователю. При этом обычная критика, мрачные сюжеты или исследовательские тесты под запрет не подпадают.
Исследование поведения пользователей в подобных ситуациях началось в августе. В компании отмечают, что вопрос наличия сознания у ИИ остается открытым, поэтому такие меры являются превентивными. Новые правила не наделяют модель юридическим статусом, а лишь устанавливают границы допустимого взаимодействия с сервисом для пользователей.
Обновление также ужесточает контроль за использованием ИИ в политических и коммерческих целях. Запрещено маскировать организаторов рассылок, создавать фальшивые аккаунты и вводить людей в заблуждение относительно выборов. Расширены ограничения на разработку оружия: теперь они включают ПО для вооружения дронов и автономных систем.
Введены строгие запреты на использование Claude для слежки за людьми без их согласия и создания инструментов наблюдения. Модели запрещено участвовать в принятии решений в сфере уголовного правосудия. Для систем, способных причинить физический вред, обязательно наличие квалифицированного оператора, который может остановить работу ИИ в любой момент.
