WebPageBench — это открытый веб-бенчмарк для оценки ИИ-агентов, включающий шесть русскоязычных сайтов-имитаций. Платформа проверяет способность агентов выполнять типовые задачи: бронирование отелей, покупку билетов или заказ продуктов. Успешность выполнения оценивается по логам событий, которые генерирует сама среда, что исключает необходимость в моделях-судьях.
Бенчмарк содержит 152 задания: 65 базовых сценариев и 87 вариаций, учитывающих разные реализации элементов интерфейса, включая темную тему. Сайты-имитации анонимизированы и используют синтетические данные: например, в каталоге книг представлено 226 наименований, а в разделе продуктов — 277 товаров. Изображения для карточек взяты из открытых источников.
Каждый запуск задачи происходит в изолированной среде, где действия агента фиксируются как события с параметрами. Основная метрика Event-Match Score (EMS) показывает, выполнены ли все условия задачи. Также отслеживается показатель Completion, сравнивающий отчет агента о завершении работы с фактическим результатом, что позволяет выявить расхождения в надежности моделей.
Система поддерживает 33 реализации интерфейсных элементов, таких как календари, счетчики гостей и поля ввода городов. Это помогает понять, провалил ли агент задачу из-за непонимания цели или из-за сложности взаимодействия с конкретным UI-компонентом. В текущем публичном рейтинге представлено 24 связки моделей и обвязок, включая Gemini-3.8-flash с OpenManus.
