Компания Artificial Analysis представила бенчмарк Code2Video-AA для оценки способности нейросетей создавать маркетинговые видео по техническим заданиям. В тестировании участвовали 27 моделей, которые выполняли 114 задач, генерируя код на базе HyperFrames и библиотеки анимации GSAP.
Рейтинг моделей формируется на основе слепого парного сравнения результатов. Лидером стала Claude Opus 5.5 с показателем Elo 1536. Второе место заняла Claude Sonnet 5.5 (1443), третье — GPT-6 Astra (1427). Четвертую строчку заняла GPT-6.1 Sol с рейтингом 1369.
Стоимость выполнения одной задачи варьируется от $0,01 до $3,89. Например, генерация видео с помощью GPT-6.1 Sol обходится примерно в $0,31. Показатели открытых моделей оказались ниже: они набрали 1052–1053 балла Elo, отстав от лидера примерно на 480 пунктов.
Тестирование сфокусировано на маркетинговом контенте. Первые две позиции в рейтинге удерживает Anthropic, третье и четвертое места — за OpenAI. Авторы отмечают, что оценки зависят от субъективных предпочтений людей, оценивающих качество видео, а не только от технической точности.
