Разработчик создал бота на языке Go для Яндекс.Телемоста, который автоматически записывает встречи и расшифровывает аудио. Система подключается к видеозвонкам через WebRTC, захватывая дорожки участников и демонстрацию экрана. Для распознавания речи используется ElevenLabs Scribe, а для создания заметок и интеллект-карт — модели Gemini Flash 3.8 и Gemini Live.
Бот поддерживает интеграцию с Telegram и MCP-сервер, что позволяет внешним ИИ-моделям, таким как Claude или ChatGPT, работать с архивом встреч. Аутентификация пользователей реализована через проверку корпоративной почты с выдачей JWT. Бэкенд написан на Go с использованием библиотек chi, pgx и pion/webrtc.
Одной из функций стала возможность подключения к видеовстрече по обычному телефонному звонку. Пользователь набирает номер и вводит код, после чего бот транслирует голос в обе стороны. Для реализации связи используется протокол SIP, а транскодирование аудио между форматами PCMU 8 кГц и Opus 48 кГц выполняется с помощью ffmpeg.
Проект вырос из простого скрипта на Python в комплексное решение. В процессе разработки автор решил проблемы с удержанием сессии WebRTC, сборкой кадров VP8 для записи экрана и обработкой DTMF-сигналов, чтобы избежать дублирования цифр при вводе кода встречи с мобильного телефона.
