Компания Xiaomi представила открытую модель искусственного интеллекта CocktailASR-1, предназначенную для выделения и расшифровки речи конкретного человека в условиях одновременного разговора нескольких людей. Разработка призвана решить проблему «эффекта коктейльной вечеринки», при которой наложение голосов затрудняет распознавание текста.
Для работы модели пользователю необходимо предоставить короткий образец голоса целевого собеседника. CocktailASR-1 использует этот фрагмент как эталон для фильтрации записи и последующей расшифровки слов только нужного участника. Модель также способна работать с записями, где присутствует голос только одного человека.
Система оснащена механизмом защиты от ошибочных интерпретаций: если целевой голос отсутствует на записи, модель выдает пустой результат, не пытаясь расшифровать речь других людей. Кроме того, предусмотрен режим цепочки рассуждений, позволяющий анализировать логику, по которой выполнялась расшифровка аудио.
По заявлению разработчиков, в ходе тестирования CocktailASR-1 продемонстрировала результаты, превосходящие показатели существующих аналогов для решения подобных задач. Новая модель уже доступна для использования на платформах GitHub и Hugging Face.
