Автор разработал локальное приложение для macOS, предназначенное для транскрибации рабочих встреч без использования облачных сервисов. Для выбора оптимального решения было протестировано 32 конфигурации моделей, включая Whisper, Parakeet и GigaAM, с целью обеспечения конфиденциальности данных.
В ходе работы автор использовал архив записей длительностью 36 часов и размеченную выборку из 82 фрагментов. Основным критерием оценки стала метрика WER, учитывающая пропуски, замены и лишние слова. Для анализа ошибок в терминах была разработана собственная эвристика WERx, основанная на фонетическом сходстве.
Тесты показали, что GigaAM лучше распознает обычную русскую речь, а Parakeet эффективнее справляется с англоязычными терминами. Автор создал каскадную систему: GigaAM формирует основной текст, а Parakeet исправляет неточности в технических терминах на основе фонетического порога похожести.
Использование каскада позволило снизить показатель WER с 27,0% до 21,7% на тестовых данных. Доля корректно записанных технических терминов при этом выросла с 19% до 44%. Время обработки аудио составило около 18 минут на один час записи на процессоре Intel Core i9.
