Современные большие языковые модели представляют собой «черные ящики» с миллиардами весов, где алгоритмы скрыты внутри данных. В отличие от традиционного ПО, у них нет явного исходного кода, что затрудняет анализ их внутренней логики и делает процесс интерпретации похожим на нейробиологические исследования.
Исследования показывают, что многие закономерности, выученные нейросетями, могут быть описаны гораздо более компактными алгоритмами. Методы вроде дистилляции, прунинга и символьной регрессии позволяют сжимать модели, однако автоматический поиск понятного и модульного кода остается сложной задачей из-за огромного пространства вариантов.
Системы Google DeepMind, такие как FunSearch и AlphaEvolve, используют нейросети как эвристику для поиска эффективных программ. AlphaEvolve нашел способ умножения комплексных матриц 4x4 за 48 операций, превзойдя алгоритм Штрассена 1969 года, а также оптимизировал планирование задач в дата-центрах Google, повысив эффективность на 0,7%.
Автор предлагает архитектуру AGI в виде «когнитивной операционной системы», где нейросети выполняют роль специализированных модулей, а не всей системы целиком. Это позволяет вынести такие функции, как эпизодическая память, долгосрочное планирование и управление целями, в явные, проверяемые программные компоненты.
Такой подход призван решить проблемы текущих LLM, включая отсутствие долговременной памяти, трудности с обучением на единичных примерах и сложность поддержания стабильных стратегий. Разделение труда между градиентным спуском для весов и поиском алгоритмов для архитектуры может стать основой для создания более прозрачных систем ИИ.
