Команды Яндекса и Школы анализа данных представили MTGBench — инструмент для оценки логического мышления нейросетей через последовательные рассуждения. Бенчмарк опубликован на GitHub, а научная работа о нем принята к публикации на конференции EMNLP 2026.
В основу теста легли семь текстовых игр, включая «Поле чудес», «Данетки», «Элиас» и Wordle. Задания проверяют способность моделей планировать действия, учитывать вводные и избегать противоречий. Оценка учитывает как точность ответов, так и количество шагов для их достижения. Материалы доступны на русском и английском языках.
Разработчики протестировали 16 моделей, включая Qwen, Gemini и GPT. Выяснилось, что режим рассуждений эффективен в задачах с символами и подсказками, тогда как в извлечении знаний прирост оказался менее выраженным. Также модели показали лучшие результаты на английском языке по сравнению с русским.
Сильнейшие нейросети с активированным режимом рассуждений превзошли людей по средним баллам во всех семи играх. Инструмент предназначен для исследователей и разработчиков, которым необходимо сравнивать возможности моделей и подбирать подходящие решения для конкретных задач.
