Разработчик добавил визуальный аватар для голосового ИИ-администратора Айка, работающего на базе Yandex Realtime. Система использует WebRTC для передачи аудио и видео, при этом сервис аватара синхронизирует движение губ с поступающим звуковым потоком.
В ходе работы тестировались сервисы Simli и Anam. Выбор был сделан в пользу Anam из-за более естественной мимики. Техническая реализация потребовала приведения частоты звука от Яндекса (24 кГц) к формату 16 кГц, поддерживаемому аватарами, с использованием ресемплера для обработки аудиочанков.
Сервер на FastAPI управляет выдачей токенов сессии, ограничивая их количество до 6 в час на один IP-адрес. Для предотвращения ошибок при прерывании разговора или быстрой смене действий была внедрена система счетчиков поколений, которая отслеживает актуальность асинхронных операций.
Для корректной работы на iPhone в браузере Safari была применена имитация автовоспроизведения через canvas. Также была оптимизирована задержка ответа: порог детектора голосовой активности (VAD) теперь динамически меняется с 1500 мс до 2200 мс в зависимости от того, диктует ли пользователь номер или ведет обычный диалог.
