Компания Block представила Dessa — полнодуплексную модель для преобразования речи в речь, которая работает без промежуточного текстового этапа. Система обучалась исключительно на человеческой речи и обрабатывает аудио напрямую.
Модель способна слушать собеседника во время собственного ответа, что позволяет ей реагировать на перебивания и использовать короткие реплики вроде «да» или «понял». В демонстрациях Dessa смеется и меняет громкость голоса.
В отличие от стандартных систем, объединяющих распознавание речи, текстовую модель и синтез, Dessa напрямую воспроизводит эмоции, сарказм, смех и вздохи. Разработчики утверждают, что цепочки с текстом теряют эти сигналы.
Команда проекта отмечает сложность обучения на аудиоданных из-за большого объема информации по сравнению с текстом. Dessa позиционируется как альтернатива модели Moshi от Kyutai, которая использует текстовые токены.
