Расширение Яндекс.Телепульт для браузера позволяет изменять видеопоток в сервисе Яндекс.Телемост. Инструмент перехватывает вызов getUserMedia и подменяет поток с камеры на отрисовку через canvas. Это дает возможность накладывать эффекты, маски, стикеры и использовать жесты во время звонка.
Для обработки изображений используются модели Google MediaPipe Tasks Vision, работающие в браузере через WebAssembly. Пакет моделей весит около 20 МБ и включает инструменты для распознавания лица, рук и сегментации. Чтобы избежать задержек, кадры обрабатываются на скрытой странице, а при высокой нагрузке лишние кадры отбрасываются.
Функция исчезновения работает на основе снимка пустой комнаты. Система сравнивает текущий кадр с эталоном, учитывая автоэкспозицию и баланс белого. Эффекты перехода, включая «эффект Таноса», реализуются через попиксельную анимацию прозрачности на основе полученной маски пользователя.
Управление жестами реализовано через локальное отслеживание кистей рук. Например, щелчок пальцами распознается по изменению расстояния между кончиками пальцев за 300 мс. Другие жесты позволяют выводить реакции, управлять микрофоном или отображать изображения в кадре, при этом все изменения видны собеседникам без установки расширения у них.
