Система ASI-Arch самостоятельно разработала 105 архитектур нейросетей, показавших высокие результаты в ходе контролируемых испытаний. В рамках проекта ИИ провел 1773 эксперимента, включая написание кода, обучение моделей и анализ данных для последующих итераций. Лучшая архитектура превзошла DeltaNet на 0,97 процентного пункта.
Работа велась с линейным вниманием для снижения вычислительных затрат. Исследовательский этап занял около 10 000 часов работы GPU, а общие затраты проекта составили 20 000 GPU-часов. На первом этапе модели обучались в малом масштабе для отсева неудачных идей, после чего перспективные варианты тестировались на более крупных структурах.
Первичный отбор прошли 1350 вариантов, из которых 150 перешли на следующий этап. В итоге 105 архитектур показали лучшие результаты при тестировании на моделях с 340 млн параметров. Пять наиболее перспективных решений обучили на моделях с 1,3 млрд параметров и проверили на 16 тестах, где они подтвердили свою эффективность.
Сильнейшие архитектуры объединяли несколько путей обработки данных, динамически выбирая оптимальный способ для конкретной задачи. Авторы подтвердили, что найденные принципы повышают производительность и в других семействах моделей, таких как Mamba2, GLA и HGRN2, что доказывает применимость находок за пределами исходной группы.
