Исследователи из НИУ ВШЭ и VK представили FastWave — компактную диффузионную модель для восстановления высокочастотных деталей звука (BWE). Система повышает частоту дискретизации любого аудио до 48 кГц.
Модель содержит 1,3 млн параметров и обладает вычислительной сложностью около 50 GFLOPS. Замена стандартных свёрток на разделяемые и внедрение Global Response Normalization позволили сократить число параметров на 30% относительно базовой модели NU-Wave 2.
Авторы адаптировали методологию обучения EDM, применив непрерывное шумовое расписание и взвешенную функцию потерь. Это позволило сократить количество шагов инференса до 4, что вдвое быстрее, чем у NU-Wave 2, требующей 8 шагов.
Обучение FastWave на одной видеокарте V100 занимает до 30 часов, тогда как NU-Wave 2 требовалось около двух недель на двух A100. Модель обрабатывает звук в 6 раз быстрее реального времени, что подходит для потоковых приложений.
Тестирование проводилось на датасете VCTK, включающем 110 спикеров и 44 часа аудио. По качеству восстановления звука FastWave сопоставима с моделями NU-Wave 2 и FlowHigh, при этом значительно превосходя их по компактности.
