Исследователи из Мэрилендского университета и AWS представили проект LEGO-Anything. Система использует ИИ-агентов для создания редактируемых 3D-сцен по одной фотографии. Агент пишет и исполняет код для Blender, итеративно корректируя результат до соответствия оригиналу.
Для оценки работы ИИ был создан бенчмарк LEGO-Bench, включающий 208 изображений из 104 сцен с использованием 443 объектов. Система оценивает валидность, геометрическую точность и визуальное сходство, сравнивая результаты с эталонными данными из симуляторов.
Тестирование шести конфигураций GPT показало, что агенты успешно создают рабочие сцены, но сильно различаются в точности. Модель GPT-6 Astra достигла 53,4 процента точности для интерьеров и 39,6 процента для экстерьеров, тогда как слабые модели показали результат около 15 процентов.
Выяснилось, что агенты плохо оценивают собственные действия и не понимают, улучшается ли сцена после правок. Для решения проблемы авторы разработали расширение LEGO-Plugin, которое заменяет субъективную оценку ИИ на точные измерения и блокирует регрессивные изменения.
Плагин повысил показатели всех моделей, причем слабые агенты улучшили результаты на 62,7 процента. Несмотря на прогресс, исследователи отмечают, что текущие 3D-реконструкции пока недостаточно точны для выполнения специализированных задач компьютерного зрения.
