Автор разработал собственную архитектуру рекуррентной нейронной сети под названием LSWM (Long-Short Working Memory). В основе модели лежит математический подход, отличный от стандартных LSTM и GRU, где вместо классических функций активации используются масштабированные softsign-функции для получения диапазона значений от 0 до 1.
Архитектура LSWM состоит из двух этапов: Short Working Memory (SWM) и Long Working Memory (LWM). В отличие от классических LSTM, автор исключил использование Constant Error Carousel (CEC), заменив его механизмом, напоминающим матрицу внимания, для работы с долгосрочной памятью.
Модель прошла тестирование на задаче «multi-hop branching», требующей логического вывода на основе цепочек данных. В ходе обучения на 1000 эпохах сеть достигла точности 100%, успешно справляясь с задачами ветвления и экстраполяцией длины последовательностей.
Сравнительные тесты показали, что LSWM превосходит LSTM и GRU по точности в данной задаче, однако уступает им в скорости обучения. Автор отметил чувствительность архитектуры к случайной инициализации весов, что потребовало дополнительной оптимизации математических формул для повышения стабильности.
