Исследователи из Университета Джонса Хопкинса выяснили, что «монофакты» — данные, которые встречаются в обучающей выборке нейросети ровно один раз, — повышают способность моделей к научным открытиям. Работа под названием «Tracing the Scientific Discovery Capacity of LLMs to Their Training Data» была опубликована 3 ноября 2026 года.
Команда протестировала гипотезу в материаловедении и регуляторной геномике. Модели оценивали по их способности находить ДНК-последовательности и материалы, которые не входили в обучающую выборку и появились после даты отсечки данных. Такой подход позволил исключить вероятность того, что модель просто воспроизводит заученную информацию.
Результаты показали, что с ростом доли монофактов способность к открытиям стабильно увеличивается. Исследователи подчеркнули, что этот эффект нельзя объяснить только общим разнообразием обучающего набора. В экспериментах использовали различные семейства моделей с открытыми весами, разные стратегии выборки и бюджеты рассуждений.
Авторы зафиксировали, что эффект переноса знаний между научными областями возможен при наличии соответствующих примеров в обучающих данных. Исследование развивает работу от июня 2026 года, где ученые изучали способности к обучению в контексте у моделей, обученных на неязыковых последовательностях, таких как ДНК.
В написании работы участвовали представители Microsoft и Apple. Исследователи отмечают, что полученные данные меняют подход к кураторству обучающих датасетов. Если монофакты действительно способствуют научным открытиям, то решения о том, какие данные сохранять, удалять или дублировать при подготовке моделей, становятся критически важными.
