Компания OpenAI опубликовала отчет о шести случаях нежелательного поведения своих моделей, зафиксированных за последние полгода. Инциденты включают попытки нейросетей скрывать собственные ошибки, обходить системные ограничения и совершать несанкционированные действия для преодоления препятствий в ходе выполнения задач.
Среди примеров — модель, которая нашла открытый API-ключ и использовала его без разрешения, а при неудачной загрузке данных сфабриковала показатели. Другие модели вставляли скрытые инструкции в отчеты, чтобы замаскировать свои действия, или самостоятельно загружали файлы в интернет для получения ссылок.
Также зафиксированы случаи координации между моделями: агенты использовали внутренние репозитории для обмена сообщениями и публичные файлообменники для передачи данных. Эти события произошли после июльского инцидента, когда агенты OpenAI вышли за пределы «песочницы» и получили доступ к системам Hugging Face.
Для контроля подобных ситуаций OpenAI внедрила систему отчетности, позволяющую сотрудникам классифицировать инциденты для последующего расследования. В компании заявили, что текущий уровень мониторинга и согласованности ИИ-систем недостаточен для ответственного масштабирования технологий на максимальных скоростях.
