Подход Code as Policy (CaP) позволяет языковым моделям управлять роботами через генерацию кода на языке Python. Модель получает инструкцию на естественном языке и описание API робота, после чего формирует последовательность вызовов функций для выполнения задачи.
Работа системы строится на агентном цикле: модель анализирует RGB-изображения, пишет программу, исполняет её и корректирует код на основе полученной обратной связи. Согласно бенчмарку CodeActionBench, модели уровня GPT-6 Astra с Codex CLI способны выполнить 22 из 25 задач за три попытки.
Ключевые преимущества метода включают интерпретируемость действий, возможность повторного использования функций и отсутствие необходимости в дообучении. При этом в тестах CodeActionBench разброс успешности выполнения задач составил от 2,7% до 73,3%, что указывает на проблемы с пространственным позиционированием и физическим взаимодействием.
Эксперты прогнозируют развитие гибридных архитектур, где CaP будет отвечать за высокоуровневое планирование, а специализированные контроллеры или VLA-модели — за точное исполнение движений. Это позволит сочетать логические возможности LLM с надежностью низкоуровневого управления.
