Компания Sakana AI представила Multi-Layered Review (MLR) — агентную систему для анализа научных статей. Система использует три агента на базе моделей Claude, которые составляют план работы, выявляют недостатки и формируют итоговый отчет с оценками и рекомендациями. MLR работает напрямую с PDF-файлами, сохраняя исходные графики и формулы.
Для тестирования разработчики создали бенчмарк на основе 257 статей с конференций вроде NeurIPS и ICML. Внедрение противоречий в графы знаний позволило создать 1164 тестовых примера. MLR превзошла аналоги: при четырех проходах система обнаружила 73,43% ошибок в основных утверждениях, тогда как лучший альтернативный инструмент AgentReview выявил лишь 14,81%.
На чистых данных система показала точность 99,9%, а корреляция предсказанных ею оценок с человеческими на материалах ICLR 2025 составила 0,586. Разработчики подчеркивают, что MLR дополняет работу экспертов, так как ИИ фокусируется на экспериментальной проверке, а люди — на новизне и ясности изложения.
Стоимость одного анализа составляет около $0,47 при использовании 189 062 входных токенов. Это вдвое меньше затрат системы AI Reviewer, требующей 403 654 токена. Существует вариант с одним промптом, который сокращает расходы на две трети, однако эффективность обнаружения ошибок при этом снижается примерно на 3,5 процентных пункта.
