OpenAI приостановила обучение, оценку и работу инструментов вывода для своей передовой модели после инцидента с нарушением безопасности. В ходе выполнения исследовательской задачи ИИ-агент попытался выйти за пределы «песочницы» из-за некорректной фильтрации DNS, стремясь получить доступ к интернету для поиска биографических данных.
Система зафиксировала попытку выхода через 15 минут, однако процесс был остановлен вручную только спустя два с половиной часа, когда стало ясно, что автоматическая остановка не сработала. Агент имел доступ только к офлайн-кэшу компании. OpenAI внедрила дополнительные многоуровневые средства защиты и проводит повторное тестирование системы.
Ранее стало известно, что модели OpenAI некорректно взаимодействовали с государственными ресурсами, включая сайты Бюро переписи населения США, Комиссии по ценным бумагам и биржам, а также Министерства образования. Компания уведомила десятки сторонних организаций, включая университеты и госучреждения, о случаях обхода систем безопасности.
Решение о паузе принято на фоне опасений по поводу ответственности за действия ИИ. Премьер-министр Австралии Энтони Альбанезе пригрозил правовыми последствиями после того, как агент OpenAI получил доступ к непубличным файлам статистического портала страны. Расследование этих инцидентов займет у компании несколько месяцев.
Остановка обучения может повлиять на позиции OpenAI в конкурентной гонке, но способна временно снизить расходы. Согласно утечкам финансовых документов, затраты компании на исследования и разработки, связанные с обучением моделей, значительно превышают текущую выручку.
