Компания Alibaba.com представила CommerceAgentBench — общедоступный инструментарий на GitHub для оценки работы ИИ-агентов в коммерческих задачах. Тестирование охватило 13 семейств моделей и 107 реальных бизнес-процессов, включая логистику, закупки и послепродажное обслуживание. Условием успеха считалось только полное выполнение задачи, например, корректное бронирование маршрута или публикация товара.
Лучший результат показала модель Claude Opus 5, выполнив 61,7% заданий при использовании среды Accio. Эффективность моделей зависела от выбранной технической обвязки: та же Claude Opus 5 показала 60,7% в среде Pi и 56,1% в OpenClaw. Модель Gemini 3 Flash продемонстрировала наименьшую результативность, справившись с 29% задач во всех трех средах. Исследование подтвердило, что универсальной модели для всех типов работ пока не существует.
Агенты испытывают трудности с многоэтапными процессами, требующими удержания контекста. Среди проблемных зон — расчет стоимости доставки, урегулирование споров по возвратам и сложные логистические маршруты. В одном из тестов агенты не смогли выявить аномалию в цепочке из 300 писем. В среднем топовая модель тратила на одну задачу около 10 минут и совершала 63 обращения к инструментам.
Тестовая база сформирована на основе данных 10 миллионов пользователей малого бизнеса, 1,6 миллиона диалогов и 200 000 записей выполнения операций. Согласно данным PYMNTS Intelligence, 132 миллиона взрослых жителей США уже совершали покупки с помощью ИИ, при этом 59% таких сделок пришлось на Amazon. Опрос ритейлеров показал, что 46% компаний не готовы доверять ИИ-агентам управление ценообразованием.
