Компания Recursive представила Flint — декодерную MoE-модель, предназначенную для работы с кодом. Модель поддерживает рассуждения и вызовы инструментов, совместимые с OpenAI, и способна анализировать кодовые базы, исправлять ошибки, внедрять функции и писать тесты.
Архитектура Flint включает 49 слоев: 2 плотных и 47 MoE-слоев. Каждый MoE-слой содержит 256 экспертов, из которых для каждого токена выбираются 6 плюс один постоянно активный общий эксперт. В модели сочетаются 35 слоев с механизмом внимания sliding window и 14 слоев с полным вниманием.
Общее число активных параметров составляет 2,5 миллиарда, включая выходной слой, при этом активное ядро модели насчитывает около 2,2 миллиарда параметров. Разработка велась с помощью автоматизированной системы Eureka Machine, которая самостоятельно генерирует идеи, реализует их и проводит тестирование.
Скорость работы модели превышает 125 токенов в секунду на MacBook Pro с чипом M4 Pro и более 150 токенов в секунду на системе NVIDIA RTX Spark с 64 ГБ оперативной памяти. По данным Recursive, это до 2 раз быстрее аналогичных моделей и более чем в 5 раз быстрее плотных моделей объемом 25-40 миллиардов параметров.
