Разработчики создали локальную систему речевой аналитики для телефонных звонков, отказавшись от использования Yandex SpeechKit. Решение полностью работает на одном сервере внутри контура заказчика, что исключает передачу аудио и расшифровок вовне. Это позволяет компаниям соблюдать требования законодательства Казахстана и Узбекистана о хранении персональных данных.
Система построена на базе faster-whisper с моделью Whisper large-v3 и Ollama с Qwen2.5. Для обработки смешанной речи — русского с казахским или узбекским — авторы добавили слой управления очередями и фильтрации. Каждый разговор проходит шесть этапов распознавания: три прохода для каждого из двух каналов, что повышает точность транскрибации в условиях телефонного качества связи.
Стандартные модели показали низкую эффективность на узбекском языке. В ходе тестов была выбрана дообученная версия Whisper-medium, которая продемонстрировала значительно лучшие результаты по метрикам покрытия речи и уверенности модели. Из-за ограничений в 16 ГБ видеопамяти специализированная модель подменяется в процессе работы за 0,9 секунды.
Для борьбы с галлюцинациями нейросети внедрен слой очистки, который отсеивает эхо, повторы фраз, случайные символы и сегменты с неверной длительностью. Такой инженерный подход позволил добиться приемлемого качества распознавания без необходимости дообучения моделей или привлечения исследовательской команды, обеспечивая предсказуемый бюджет при обработке тысяч разговоров в сутки.
