Библиотека JAX3D предназначена для объемного рендеринга, синтеза новых ракурсов и 3D-реконструкции. Инструментарий использует JAX и Flax для реализации иерархической модели NeRF, которая разделяет геометрию сцены и зависимые от ракурса визуальные эффекты.
Система включает генератор синтетических данных, создающий сцены со сферами и текстурированным полом. Для рендеринга используются параметры камеры-обскуры и орбитальное размещение, что позволяет получать согласованные данные RGB, глубины и прозрачности.
Модель NeRF применяет синусоидальное позиционное кодирование для пространственных координат и направлений взгляда. Глубокая нейросеть MLP с пропускными связями предсказывает плотность, а цвет вычисляется с учетом направления взгляда для передачи бликов.
Иерархический конвейер рендеринга выполняет грубый проход, за которым следует процедура importance sampling. Веса грубого рендеринга преобразуются в кусочно-постоянное распределение вероятностей для уточнения выборки точек в областях с наибольшим вкладом в итоговое изображение.
