Исследователи Оуэн Куин и Джеймс Зоу из Стэнфордского университета проверили 50 утверждений о больших языковых моделях на 20 различных системах. Выяснилось, что 44 процента выводов уже устарели, а еще 34 процента значительно ослабли.
Средний срок жизни выводов с установленной датой истечения составил 15,7 месяца. Через год после публикации 16 процентов утверждений теряют актуальность, а через два года этот показатель достигает 39 процентов. Лишь 16 процентов выводов остаются верными, а 6 процентов стали более выраженными.
Быстрее всего устаревают данные о неспособности моделей выполнять определенные задачи, например, рассуждать. Дольше сохраняются выводы о предпочтениях и поведении моделей. Уровень галлюцинаций в научных ссылках снизился с 55 процентов у GPT-3.5 до 0 процентов у GPT-6.1 Sol, однако модель Qwen3.7-Flash показала 69 процентов вымышленных ссылок.
Результаты сильно различаются даже у моделей, выпущенных в один период. Среди систем, вышедших с июля по сентябрь 2026 года, количество устаревших выводов варьируется от 11 у DeepSeek V4 Pro до 30 у GPT-6.1 Sol. Авторы подчеркивают, что выводы об ИИ следует считать наблюдениями за конкретными версиями, а не универсальными истинами.
