Агентская обвязка Marakuya прошла тестирование в бенчмарках OSWorld 2.0 и Terminal-Bench 4.0. Эти тесты оценивают способность ИИ-агентов выполнять многоступенчатые задачи на реальном компьютере, включая работу с терминалом, графическим интерфейсом, файлами и браузером.
OSWorld 2.0 включает 108 сценариев из семи профессиональных доменов. При использовании модели DeepSeek-v4.1-flash агент Marakuya решил 20,6% задач полностью. Этот результат сопоставим с показателями Claude Opus 4.8 и превышает результаты GPT-5.5. Официальный лимит для агента в этом тесте составляет 500 шагов.
Terminal-Bench 4.0, обновленный в августе 2026 года, содержит 66 задач, ориентированных исключительно на работу в консоли. В этом бенчмарке Marakuya достигла показателя в 33,9% решенных задач. Тесты проверяют навыки отладки, работы с кодом и выполнения операций в Linux-контейнерах с лимитом времени до восьми часов на задачу.
В ходе испытаний проводился аудит безопасности, исключающий обход песочницы или изменение системных файлов. Marakuya успешно прошла проверки безопасности. Разработчики отметили, что на итоговые баллы повлияли задержки при работе через API и отсутствие OCR у модели-судьи в ряде сценариев, что привело к потере части оценок.
