В июле 2025 года организация METR провела эксперимент с участием 16 Open source-разработчиков. Участников разделили на группы с доступом к ИИ и без него для выполнения 246 задач. Выяснилось, что использование ИИ замедлило работу на 19%, хотя сами программисты были уверены в ускорении на 20%.
В феврале 2026 года METR повторила исследование с 57 разработчиками. Организация столкнулась с трудностями: участники отказывались работать без ИИ, а те, кто соглашался, скрывали задачи, где нейросети наиболее эффективны. Это привело к смещению выборки и снижению надежности экспериментальных данных.
В мае 2026 года был проведен опрос 349 технических специалистов. Респонденты оценили рост ценности своей работы с помощью ИИ в 1,4–2 раза. Авторы исследования отметили, что результаты опроса страдают от субъективности, так как разрыв между личными ощущениями и реальными замерами достигает 40 процентных пунктов.
METR признает, что традиционные методы оценки продуктивности с контрольными группами теряют валидность. По мере роста ожиданий от ИИ разработчики все чаще отказываются от работы без инструментов автоматизации, что затрудняет проведение объективных тестов в будущем.
