Компания Stripe представила открытый бенчмарк Stripe evals для оценки работы ИИ-агентов при создании платежных интеграций. Проект, ставший общедоступным 19 ноября 2026 года, включает 11 сред, разделенных на задачи для бэкенда, полностековые рабочие процессы и специализированные наборы упражнений для тестирования функций Checkout и подписок.

Результаты тестирования показали, что агенты выполняют в среднем 78% требуемых критериев, однако полностью справляются со всеми задачами лишь в 29% случаев. Фреймворк использует инструментарий Goose и протокол Model Context Protocol, предоставляющий агентам доступ к терминалу, браузерной автоматизации и документации.

Собственный плагин Stripe повысил показатели эффективности на 3–8 процентных пунктов, сократил потребность в поиске в интернете на 96% и уменьшил объем лишнего тестового кода на 40%. В среднем для завершения одной интеграции агентам требовалось 63 итерации.

В рейтинге моделей Claude Opus 4.5 показала результат 92% в полностековых задачах, а GPT-5.2 достигла 73% в наборах упражнений. Stripe планирует периодически публиковать обновленные данные, чтобы помочь бизнесу выбирать конфигурации ИИ-агентов на основе реальных показателей производительности, а не маркетинговых заявлений.