ИИ-агенты способны извлекать данные из научных статей и проводить вычисления, однако этого недостаточно для независимого воспроизведения исследований. В работе Reconstructing Implicit Scientific Knowledge авторы протестировали возможности LLM-моделей на 14 астрономических публикациях, включая 13 статей из Nature и одну из The Astrophysical Journal.
В 11 из 13 случаев исследователи выявили методологические неоднозначности, которые мешали однозначно определить порядок действий для анализа. При проверке одного набора данных 12 вариантов расчетов привели к результатам от 2,16 до 3,53 килопарсека, тогда как в оригинале было указано значение около 2,70 килопарсека.
Проблема заключается в неспособности ИИ связать отдельные сведения в единую логику. Например, агенты не распознали необходимость применения поправки к параллаксу в плюс 0,02 миллисекунды дуги, хотя она была указана в статье, пока анализ не показал влияние этого параметра на итоговый результат.
Авторы исследования подчеркивают, что совпадение итогового числа не доказывает понимание хода рассуждений ученых. Они предлагают оценивать научные ИИ-системы по всему процессу воспроизведения, включая выбор данных и настроек, чтобы выявлять неявные решения, принимаемые специалистами на основе профессионального опыта.
