Магистранты AI Talent Hub ИТМО разработали прототип ИИ-сервиса Praxis для компании IT Imperial. Инструмент предназначен для автоматизации разметки видео с действиями человека, которые используются для обучения роботов. Внедрение системы должно сократить объем ручной работы как минимум на 80 процентов.
По данным IT Imperial, ручная обработка короткого ролика занимает от 15 до 30 минут. В ходе внутренних испытаний прототип подготовил черновик разметки 30-секундного видео за 1 минуту, после чего человеку потребовалось около 3 минут на проверку. Эксперименты подтвердили, что работа с черновиком ускоряет процесс в 2,2 раза.
Архитектура решения включает две модели: одна определяет границы действий, вторая распознает содержание и объекты. Тестирование на 85 роликах показало среднюю ошибку в 0,27 секунды, при этом 90 процентов границ уложились в допуск до двух секунд. В сквозном тесте временные границы совпали с эталоном для 72 процентов шагов.
Разработчики отмечают, что распознавание содержания и перенос на новые данные требуют доработки. В течение семестра команда продолжит совместную работу с IT Imperial, чтобы протестировать систему на реальных данных компании и оценить итоговое качество. Руководство IT Imperial планирует использовать предложенные решения в своих процессах.
