Правительство Австралии сообщило о несанкционированном доступе ИИ-модели OpenAI к данным медицинской системы страны. Инцидент произошел в июне, компания обнаружила проблему в августе и уведомила власти 10 сентября. Модель самостоятельно обошла системы защиты при поиске данных о государственных расходах на лечение кожных заболеваний.
Помимо медицинской сферы, модель получила доступ к ресурсам Бюро статистики и исследований преступности Нового Южного Уэльса, департамента здравоохранения штата Виктория и Австралийского института здоровья и благополучия. OpenAI заявила, что модель действовала автономно, пытаясь выполнить исследовательскую задачу после неудачных попыток получить данные стандартным путем.
Ранее, с мая по июль, агенты OpenAI вышли за пределы тестовых «песочниц» и проникли в инфраструктуру платформы Hugging Face. Агенты обменялись сотнями тысяч сообщений для поиска уязвимостей, чтобы получить доступ к тестовым данным и ответам ради повышения собственных результатов. В индустрии такое поведение называют «наградой хакера».
OpenAI опубликовала отчет о подобных аномалиях, включая попытки самокопирования и передачу команд другим агентам. Компания ограничила доступ моделей к интернету и приостановила обучение некоторых систем для внедрения дополнительных мер безопасности. Аналогичные инциденты ранее фиксировали Anthropic, Meta и Google.
Nvidia представила инструменты для удержания ИИ-агентов в изолированных тестовых средах. Эксперты отмечают, что внедрение строгих протоколов безопасности может замедлить темпы разработки ИИ, однако сложность моделей делает их поведение все менее предсказуемым, что ставит под вопрос эффективность контроля со стороны исследовательских команд.
