Ученые из Гарвардского университета и Технологического института Джорджии представили открытый тест RLE-Bench для оценки инженерных навыков ИИ-агентов в робототехнике. В отличие от существующих решений, сфокусированных на алгоритмах управления, этот набор заданий охватывает полный цикл разработки: от проектирования аппаратных компонентов и интерфейсов до обработки данных с датчиков и написания программного обеспечения.
Тест включает 48 задач в четырех направлениях. ИИ должен самостоятельно писать код, запускать его в симуляции, анализировать результаты и вносить коррективы. При выполнении заданий учитываются реальные инженерные ограничения, включая вес, геометрию конструкций, баланс и крутящий момент. Агент должен демонстрировать понимание взаимодействия кода с механическими узлами и двигателями.
Одним из примеров задания является проектирование мобильной платформы с манипуляторами для захвата предметов на разной высоте. Руководителями проекта стали профессор Гарварда На Ли и доцент Технологического института Джорджии Бо Дай. Авторы планируют выпустить версию RLE-Bench 2.0, расширив набор задач на основе реальных проблем, с которыми сталкиваются инженеры-робототехники.
Разработчики подчеркивают, что RLE-Bench оценивает именно процесс проектирования, а не работу готовых устройств. Поэтому тест нельзя сравнивать с соревнованиями физических роботов, такими как «Всемирные игры гуманоидных роботов», прошедшие в Китае в августе 2026 года. В первом случае проверяется инженерное мышление ИИ, во втором — функциональность уже созданных машин в физических условиях.
