Исследователи из Apple Machine Learning Research, включая Алехандро Эрнандеса-Кано, Кирилла Бриллиантова и Эммануэля Аббе, представили работу 30 сентября 2026 года. В статье под названием How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering анализируется эффективность сложных многоагентных систем в задачах машинного обучения.
Команда создала упрощенного агента Malena, работающего в одной сессии с доступом к чтению, записи файлов и выполнению bash-команд. Его сравнили с четырьмя комплексными системами: MLEvolve, AiScientist, Arbor и ScienceFlow. Для чистоты эксперимента во всех случаях использовались одинаковые базовые языковые модели.
На бенчмарке MLE-bench агент Malena показал результат 62,5% по метрике any-medal rate, тогда как лучший внешний аналог AiScientist достиг 47,1%. Авторы пришли к выводу, что при наличии прямого доступа к оболочке системы дополнительные механизмы координации не дают значимого прироста производительности, а ключевым фактором успеха остается мощность самой модели.
Тестирование проводилось в двух режимах: 30 задач с бюджетом 24 часа и 40 задач с бюджетом 8 часов. Исследователи отметили, что ограниченные вычислительные ресурсы повлияли на количество запусков, что может создавать статистический шум. Также упоминается исследование от июля 2026 года, где индивидуальные агенты превзошли многоагентные команды на 41,1%.
