Исследователи изучают способы генерации весов нейросетей «на лету» вместо хранения полных матриц. Метод предполагает использование «рецепта» — генератора или компактной нейросети, которая восстанавливает веса в процессе работы, что позволяет экономить место на диске и в памяти.
Одним из подходов являются гиперсети. В тестах с архитектурой Wide ResNet 40-2 на наборе данных CIFAR-10 количество параметров удалось сократить с 2,236 миллиона до 0,148 миллиона, однако ошибка классификации при этом выросла с 5,66% до 7,23%.
Динамические гиперсети, примененные к моделям RNN и LSTM на текстах Penn Treebank, показали повышение точности: ошибка снизилась с 1,312 до 1,265 бита на символ. При этом общее число параметров увеличилось с 4,25 миллиона до 4,91 миллиона.
Метод NeRN использует координатные генераторы для описания весов сверточных сетей. Для ResNet20 на CIFAR-10 предиктор размером 0,65 MB обеспечил точность 91,68%, что близко к исходным 91,69%. Уменьшение предиктора до 0,36 MB снизило точность до 90,39%.
Подход Neural Metamorphosis применяет координатные генераторы для адаптации ширины сети. В экспериментах с ResNet20 на CIFAR-10 модель показала точность 91,76% при полной ширине и 89,56% при использовании четверти каналов, что соответствует сжатию на 75%.
