Компании Google DeepMind и Artificial Analysis 10 ноября 2026 года представили бенчмарк Multimodal Knowledge Agent (MKA). Система оценивает работу автономных ИИ-агентов с визуальными данными, включая чертежи, инженерные схемы и клинические снимки.
Бенчмарк включает 200 закрытых задач из 10 отраслей, разработанных при участии специалистов 83 профессий. Задания имитируют реальные рабочие процессы, на выполнение которых у человека обычно уходит от 3 до 8 часов.
Оценка результатов проводится с помощью автоматизированной системы, которая учитывает точность данных и качество визуального оформления. По данным разработчиков, система совпадает в оценках с экспертами-людьми в 96,2% случаев.
В первом рейтинге модель Gemini 4 Carbon (high) заняла второе место по качеству. При этом модель показала высокую эффективность, выполнив задачи с затратами, которые примерно в 6 раз ниже, чем у лидера списка.
