Компания Alibaba представила мультимодальную модель Qwen3.8-Omni-Flash, способную обрабатывать текст, изображения, аудио и видео в рамках единой архитектуры. Система поддерживает контекстное окно объемом 1 млн токенов и предназначена для задач реального времени, включая редактирование видео и создание музыкальных клипов.
Новинка демонстрирует снижение стоимости API-доступа по сравнению с Qwen3.5-Omni-Plus: затраты на обработку аудио сократились более чем на 98%, а аудио и видео — более чем на 93%. Средний результат модели в 29 бенчмарках вырос более чем на 25% по сравнению с предыдущим поколением.
Модель использует механизм «агентного понимания», который позволяет анализировать медиафайлы не последовательно, а исходя из сути запроса. Это сократило расход токенов на запрос на 45,7%. В ходе эксперимента модель самостоятельно улучшила распознавание сычуаньского диалекта другой системой, снизив долю ошибок с 25,79% до 15,30%.
Система распознавания речи поддерживает 74 языка, генерации — 29 языков. Alibaba также выпустила среду с открытым исходным кодом Qwen-Live Harness для создания интерактивных приложений с низкой задержкой через протоколы WebSocket и WebRTC. Доступ к модели открыт через платформу Qianwen AI.
