Монтажер разработал плагин для Adobe Premiere Pro, который автоматически синхронизирует видео с нескольких камер и аудио с рекордера без использования хлопушки. Инструмент, созданный за месяц на Python, numpy и ffmpeg, анализирует звуковые огибающие и формирует итоговую секвенцию в формате XML. Распознавание речи выполняется локально с помощью модели faster-whisper.
Для поиска сдвига между файлами плагин использует взаимную корреляцию с окном 10 мс. Чтобы исключить ошибки, реализован двухэтапный алгоритм: грубый сдвиг по сглаженной огибающей и точная подстройка в диапазоне 0,5 секунды. Для определения одновременности съемки используется z-score с порогом 6,5, что позволяет отсеивать случайные совпадения звуковых фрагментов.
Плагин умеет отличать исходные файлы от готовых монтажных склеек, анализируя распределение кусков внутри файлов. Система автоматически вырезает паузы и дубли, опираясь на пресеты плотности монтажа, основанные на ручной работе автора. В случае неуверенности алгоритма программа не выполняет обрезку, а оставляет маркер для ручного контроля со стороны монтажера.
Для работы модели large-v3 в режиме int8_float16 требуется около 2,5 ГБ видеопамяти, что позволяет запускать плагин на бюджетных GPU. Автор внедрил систему автоматического тестирования на синтетических сценах, которая проверяет корректность сборки проекта перед каждым релизом. Это предотвращает появление ошибок при внесении правок в код синхронизации.
