Исследователи из Microsoft и Городского университета Гонконга представили бенчмарк Taste-Bench для оценки качества принятия решений ИИ-агентами в долгосрочных задачах. В отличие от стандартных тестов, проверяющих только конечный результат, этот инструмент анализирует способность модели выбирать оптимальный путь в ключевых точках ветвления.
Бенчмарк включает 502 вопроса, основанных на данных тысяч запусков агентов в задачах по программированию и исследованиям. Моделям предлагается выбрать лучший из двух вариантов развития событий. Набор данных содержит как параллельные пути из независимых попыток, так и случаи, когда агенты исправляли собственные ошибки.
Тестирование 14 моделей, включая GPT, Claude, Grok и Mistral, показало низкую эффективность. Лучший результат — 59,7 процента — продемонстрировала модель GPT-5.6 Sol. При этом точность ответов падала до 21 процента, если доказательства правильности выбора становились очевидными только после выполнения большого объема последующей работы.
Авторы доказали, что навык принятия решений можно развивать. Обучение модели Qwen3.6-27B на суждениях «учителя» повысило точность на новых задачах с 30 до 47,9 процента. Использование этой модели в качестве советчика позволило повысить успешность выполнения задач SWE-bench Pro с 14,6 до 33,7 процента.
