Команда Qwen компании Alibaba 14 октября представила BlenderWorld — открытый бенчмарк для оценки работы ИИ-агентов в среде Blender. Проект распространяется по лицензии MIT, а исходный код и наборы данных опубликованы на GitHub, Hugging Face и ModelScope.
В отличие от генерации статичных изображений, BlenderWorld требует от ИИ создания редактируемого файла формата .blend. Модель должна проработать геометрию, материалы, освещение и параметры камеры, чтобы дизайнер мог вносить правки в сцену. Дополнительно система может запрашивать рендеры, видео или экспорт моделей.
Бенчмарк включает 223 задания и 2651 критерий оценки. Задачи охватывают девять категорий, включая архитектуру, анимацию и научную визуализацию. В 78 случаях ИИ получает только текстовое описание, в 130 — изображение с текстом, в 15 — видео с текстом. 59 заданий содержат спецификации по размерам и материалам.
Система оценивает проекты, выполняя рендеринг с восьми адаптивных ракурсов. Итоговая оценка формируется как средневзвешенное значение: по 50 процентов приходится на соответствие правилам и визуальное качество. Для проверки используются 2651 бинарный критерий и восемь метрик общего качества визуализации.
Проект предоставляет инструменты для установки, генерации и тестирования, позволяя подключать сторонние фреймворки. Для работы требуются Blender 4.2.10, ОС Linux, Python 3.10 или выше, а также модель с поддержкой компьютерного зрения для проведения этапа оценки.
