Подразделение MWS AI, входящее в МТС Web Services, открыло доступ к инструменту RESON для оценки качества моделей автоматического распознавания речи. Библиотека поддерживает более 10 метрик, включая WER, CER, MWA и собственный показатель WIS, который помогает приоритизировать распознавание важных для бизнеса слов, таких как названия брендов.
RESON позволяет автоматизировать процесс анализа, формируя интерактивные HTML-отчеты. Инструмент реализован в виде Python-библиотеки, которую можно встроить в рабочие процессы через API или командную строку и развернуть в закрытом контуре компании. По данным разработчиков, это сокращает время анализа с нескольких часов до 10–15 минут.
Одновременно компания представила бенчмарк MWS RESON ASR OSD, включающий более 12 000 размеченных аудиозаписей общей длительностью около 38 часов. Набор данных содержит разговорную речь, числовые последовательности и записи с фоновыми шумами, что позволяет тестировать модели в условиях, приближенных к работе контакт-центров.
В рамках тестирования бенчмарка MWS AI сравнила показатели ряда моделей. Лучший результат по метрике WER показала GigaAM v3 от Сбера с показателем 7,42%. Далее следуют Vosk (11,07%), Nvidia Parakeet (15,83%) и Nvidia Nemotron (25,52%).
