Инженеры Ozon Tech разработали инструмент j2c для автоматизации переноса экспериментов машинного обучения между кластером разработки JupyterHub и вычислительным кластером Compute.
Платформа решает проблему переноса зависимостей, разделяя их на системные и пользовательские. Системные компоненты, включая Python, PyTorch и CUDA, предоставляются через заранее подготовленные Docker-образы, общие для обоих кластеров.
Инструмент j2c упаковывает только пользовательский код и виртуальное окружение. Использование модуля venv с параметром system-site-packages позволяет эксперименту корректно обращаться к системным библиотекам в целевом кластере без их повторного копирования.
Такой подход исключает использование тяжелых самодостаточных архивов, создание которых через conda-pack могло занимать более часа и требовать десятки гигабайт дискового пространства. Это сокращает время подготовки и передачи задач.
