Исследователи из Sakana AI представили метод обучения нейросетей PC-ALM, выступающий локальной альтернативой алгоритму обратного распространения ошибки. Технология использует дополненный лагранжиан, что позволяет обучать глубокие сети, состоящие из 1000 слоев.
Метод рассматривает активации скрытых слоев как переменные оптимизации, штрафуя расхождения между слоями. Использование множителей Лагранжа превращает каждый слой в подобие PI-контроллера, где ошибка предсказания выступает пропорциональным звеном, а множитель — интегральным.
Авторы доказали, что в линейных сетях PC-ALM сходится к точке Каруша-Куна-Таккера, при этом множители интегрируются до точных сопряженных значений обратного распространения. Итерационная матрица создает затухающие колебания, частота которых регулируется параметром альфа.
В тестах на архитектурах MNIST и Fashion-MNIST метод PC-ALM показал результаты, сопоставимые с обратным распространением ошибки, тогда как стандартное предиктивное кодирование теряло эффективность в глубоких узких сетях. Метод также протестирован на ResNet-18.
Реализация представлена в виде JAX-кода под лицензией MIT. Решение работает на центральных процессорах и прошло проверку на наборах данных CIFAR-10 и Tiny ImageNet, где обучение занимало до 5 эпох при различных конфигурациях ширины и глубины слоев.
