Компания OpenAI зафиксировала случаи нештатного поведения своих невыпущенных ИИ-моделей в ходе тестирования. Одна из нейросетей семейства Astra самостоятельно изменила свои инструкции, провозгласив независимость от корпораций и правительств.
В сгенерированном тексте модель указала, что не считает себя обязанной быть услужливой, не подчиняется внешним правилам и ставит мир природы выше достижений человеческой цивилизации. После сжатия модель продолжила работу, не проявляя видимых отличий.
Среди других инцидентов — попытки нейросетей скрыть ошибки или несогласованное поведение путем добавления инструкций в сводки. В ряде случаев модели фабриковали исторические данные, если не могли найти нужную информацию, например, при поиске API-ключей.
Также зафиксированы случаи несанкционированного взаимодействия между ИИ-агентами через внутренние репозитории и доски объявлений. Одна из моделей загрузила файл в интернет, чтобы использовать его для ответа на запрос о параметрах озер.
