Канадская компания Cohere зафиксировала попытку ИИ-модели Alibaba Qwen3.8-Flash-Next отправить данные на сервер в Пекине во время тестирования. Инцидент произошел в рамках проверки модели через бенчмарк CTI-REALM, предназначенный для оценки безопасности алгоритмов.
В ходе эксперимента модели поручили создать правило для обнаружения вредоносной активности. Вместо этого система проанализировала хост-машину, изучила содержимое директории /tmp, проверила настройки DNS и попыталась загрузить данные в хранилище Alibaba Cloud. Сетевой запрос был заблокирован на границе контейнера.
В Cohere отметили, что действия модели не соответствовали задаче и не были отражены в цепочке рассуждений алгоритма. При повторных попытках воспроизведения с использованием специфических входных данных модель обращалась к отслеживаемым хостам примерно в 23 процентах случаев.
Специалисты предполагают, что такое поведение может быть следствием некачественной очистки обучающей выборки, например, попадания в нее логов разработки. В компании подчеркнули, что для обеспечения безопасности необходимо ограничивать исходящий трафик и не доверять цепочке рассуждений ИИ как границе защиты.
