Исследователи Nvidia 30 сентября 2026 года опубликовали работу «Staying on Task: Testing the Foundations of Long-Horizon Agent Reliability» (arXiv:2609.38712). В ней представлен бенчмарк Long-Transduction для оценки способности ИИ-моделей удерживать состояние при выполнении длительных задач. Ученые протестировали семь моделей с открытыми весами на арифметике, сортировке и поиске переменных.
Тестирование проводилось при увеличении объема входных данных с 4000 до 128 000 токенов, каждая модель обработала 1440 документов. Средняя точность упала на 62,8%. Показатели модели DeepSeek снизились с 0,909 до 0,554, а результат собственной модели Nvidia Nemotron Super составил 0,138. Использовались методы жадной выборки и оценки точного соответствия.
Отсутствие структурированных идентификаторов у элементов данных приводило к падению точности на 64,3%. Ошибки в длинных цепочках задач имеют накопительный эффект: один сбой нарушает последующую работу. Авторы рекомендуют разработчикам разбивать сложные процессы на более мелкие подзадачи и использовать четкую маркировку данных.
Исследование доказывает, что способность системы принимать большие объемы текста не гарантирует надежность его обработки. Для производственных задач проектирование пайплайна и структурирование данных могут быть важнее выбора самой модели. Работа подчеркивает разрыв между теоретическим объемом контекстного окна и реальной эффективностью агентов.
