Проект M2 Holo Lab позволяет взаимодействовать с 3D-моделями через обычную веб-камеру ноутбука в браузере. Система использует библиотеку MediaPipe для отслеживания рук, Three.js для рендеринга и cannon-es для физики, выполняя все вычисления локально.
Для компенсации отсутствия датчиков глубины и дрожания изображения автор внедрил калибровку, сглаживание данных и индивидуальные пороги срабатывания жестов. Точность взаимодействия повышается за счет подсветки объектов перед захватом.
Оптимизация производительности потребовала разделения процессов трекинга и отрисовки, что позволило увеличить частоту обновления кадров. Также были устранены графические артефакты на видеокартах Apple путем настройки шейдеров и алгоритмов сравнения глубины.
Функционал включает модули по механике, химии и анатомии с использованием реальных геометрических данных. Предусмотрен режим имитации голограммы, который меняет угол обзора модели в зависимости от положения головы пользователя.
В настоящее время M2 Holo Lab находится на стадии закрытого тестирования. Проект развивается как образовательная лаборатория, заявки на участие для преподавателей принимаются на сайте m2holo.com.
