Модель Fly Language Model (FLM) объединяет полный коннектом плодовой мушки MaleCNS с замороженной языковой моделью на 1,2 миллиарда параметров. Система включает 166 700 узлов и более 25,5 миллиона направленных ребер. Архитектура работает как резервуарный вычислитель, где обучается только считывающий слой из 278 528 параметров, что составляет 0,0238% от объема основной модели.
Тестирование на 32 диалогах SmolTalk показало улучшение перплексии с 3,98 до 3,90. Однако контрольные испытания с прямой подачей данных без использования графа показали лучшие результаты. Статистический анализ подтверждает, что топология мозга мушки не дает преимуществ перед случайной структурой связей или прямым вводом данных.
Исследование доказывает, что рекуррентность в графе быстро нивелирует различия начальных состояний, ограничивая возможности долгосрочной памяти. Языковая компетенция системы полностью зависит от основной модели. Проект распространяется по лицензии MIT, работает на Python 3.12 и запускается локально на macOS или Linux без необходимости использования API-ключей.
Данная разработка является развитием прототипа ngxson/fly-hf, который использовал меньший фрагмент центрального мозга. Отличительной чертой FLM является использование полного графа и архитектура с замороженной основой, что позволяет исследователям четко определять источник языковых способностей модели.
