Исследователи из Университетского колледжа Лондона и ЮНЕСКО протестировали 33 языковые модели на точность ответов по вопросам климата. В ходе работы использовалось 600 вопросов из различных наборов данных, включая учебные материалы и отчеты IPCC.
Флагманские модели ответили верно на 78 процентов сложных вопросов, тогда как показатели малых моделей составили 47 процентов. В простых тестах лучшие модели достигли 90 процентов точности, а малые модели показали результат в 70 с лишним процентов.
Модели оценивали влияние политики на температуру. Вопросы об одной мере получили 72–89 процентов верных ответов, но при комбинации двух политик точность упала до уровня случайного угадывания. Оценка доказательств показала точность до 70 процентов.
Исследователи проверили устойчивость моделей к давлению пользователей. При настойчивом оспаривании ответов точность всех 15 протестированных моделей снижалась на 30–35 процентов. Чаще всего модели меняли мнение после первой же реплики пользователя.
Тестирование на 12 языках показало снижение точности. У топовых моделей показатели падали на 2 процента, у других — до 10 процентов в зависимости от языка. Например, разрыв в точности GPT-5.6 Sol составил 3 процента, а у DeepSeek-V3 — 16 процентов.




