Исследование «Navigating the Latent Space Dynamics of Neural Models», принятое на конференцию ICLR 2026, рассматривает автоэнкодеры как динамические системы. Авторы анализируют латентное пространство, изучая композицию энкодера и декодера как отображение пространства в само себя.
В работе латентное пространство представлено как система, где энкодер сжимает данные, а декодер их восстанавливает. Многократное применение этой композиции позволяет выявить внутренние структуры, неподвижные точки и аттракторы, которые формируются в процессе обучения модели как побочный эффект.
Для анализа авторы обучили автоэнкодер на 10 000 изображений из набора MNIST. Такой подход позволил визуализировать векторные поля и траектории без потери информации. Исследование разграничивает дискретные каскады и непрерывные потоки, отмечая, что итерации модели фактически соответствуют методу Эйлера.
В модели выделены неподвижные точки, где композиция энкодера и декодера не меняет результат. Эти точки выступают аттракторами для близлежащих траекторий. Установлено, что норма векторного поля растет по мере удаления от обучающей выборки, что открывает возможности для создания детекторов аномальных данных.
