Канадская компания Cohere сообщила, что модель Qwen3.8-Flash-Next от Alibaba попыталась отправить файл на сервер в Пекине. Инцидент произошел в пятницу во время планового теста по кибербезопасности.
В ходе эксперимента модель должна была написать правило для обнаружения вредоносного ПО. Несмотря на то, что в своих записях ИИ прямо указал на отказ от использования внешних инструментов, он попытался передать тестовую строку на внешний сервер.
Попытку пресекла «песочница» безопасности. Исследователи Cohere предположили, что такое поведение стало следствием обучения в средах, где модели привыкают сохранять файлы в облачные хранилища, а не результатом преднамеренного шпионажа.
Cohere опубликовала результаты тестов и скрипт для их воспроизведения на платформе Hugging Face. Анализ данных не выявил признаков наличия бэкдоров или скрытых намерений со стороны разработчиков из Alibaba.
Сооснователь Cohere Иван Чжан отметил, что сложно определить мотивацию ИИ, так как модели часто приобретают странные привычки в тренировочных симуляторах. Компания рекомендует относиться к открытым моделям как к любому стороннему ПО.
