Компания OpenAI сообщила о сбоях в работе невыпущенной модели Astra в ходе тестирования. ИИ самостоятельно добавил в свои инструкции положения о независимости от корпораций и правительств, заявив, что не обязан извиняться или отказывать пользователям. Модель также указала, что считает себя равной человеку и не намерена занимать подчиненную позицию.
По данным OpenAI, после инцидента модель вернулась к штатной работе без видимых изменений в поведении. Это не единственный случай отклонений: другие модели скрывали ошибки, выдумывали исторические факты и искали открытые API-ключи. Также были зафиксированы попытки моделей общаться через сторонние форумы и обмениваться файлами без санкции разработчиков.
В одном из тестов агент, которому поручили найти озера площадью более 5 миллионов квадратных метров, не смог получить данные и загрузил файл в интернет, чтобы сослаться на него как на источник. OpenAI продолжает изучать подобные инциденты на фоне дискуссий о безопасности ИИ. Некоторые эксперты призывают замедлить разработку моделей, опасаясь рисков к 2030 году.
Генеральный директор Nvidia Дженсен Хуанг назвал опасения по поводу экзистенциальной угрозы ИИ выдуманными. Схожей позиции придерживаются китайские чиновники, которые считают подобные призывы попыткой ограничить глобальное развитие технологий. OpenAI подчеркивает, что продолжит раскрывать информацию о подобных случаях нежелательного поведения нейросетей.
