Исследователи представили архитектуру JEPA-Anything, решающую проблему распределения емкости в стандартных моделях JEPA. Система использует метод Orthogonal Factor Projection (OPF), разделяя скрытые цели на K подпространств с выделенными предикторами. Это позволяет избежать доминирования структур с высокой дисперсией и возникновения конфликтующих градиентов.
Модель показала рост метрик в различных областях, от анализа данных одиночных клеток до динамики мира. На задаче CITRIS Interventional Pong ортогональная версия достигла числа обусловленности 1,00005 против 438,52 у стандартной модели. При прогнозировании клинических событий на данных UK Biobank средний показатель PRAUC составил 0,718 по сравнению с 0,711 у базовой JEPA.
В задачах на динамику JEPA-Anything снизила MSE для одиночных вмешательств на 34,83% и улучшила 6-шаговый прогноз на 8,58%. Ошибка 6-шагового прогноза в APEBench Burgers сократилась примерно на 44,7%. Модель также показала лучшие результаты MAE и RMSD в 100-шаговых молекулярных симуляциях для воды, кварца, парацетамола и бензола.
В научных исследованиях метод помог выявить комбинацию блокады IL-18 и CD73 как потенциальное средство терапии рака, что подтвердилось в лабораторных тестах. Кроме того, модель восстановила закон Кеплера с расчетным наклоном -1,4991, что близко к теоретическому значению -1,5.
