Команда исследователей из AIRI, МФТИ, МТУСИ и ВШЭ представила новый метод обнаружения речевых дипфейков под названием HIR-SDD. Разработка призвана решить проблему низкой универсальности существующих систем, которые плохо адаптируются к новым типам генераторов и аудиодоменам.
Подход HIR-SDD объединяет возможности больших аудиоязыковых моделей с пошаговым рассуждением. Для обучения системы использовался набор данных с человеческой разметкой, что позволяет нейросети объяснять причины своего вердикта и предоставлять признаки, понятные человеку.
Результаты работы были представлены в конце сентября на конференции Interspeech в Австралии. Авторы отмечают, что создание надежных инструментов детекции становится критически важным на фоне роста случаев мошенничества с использованием имитации голосов.
