Компания Mercor провела исследование, в котором 12 сертифицированных бухгалтеров соревновались с нейросетями в решении профессиональных задач. Участники-люди, имеющие в среднем 5,4 года опыта, включая работу в компаниях «Большой четверки», показали средний результат около 37%, затрачивая на выполнение заданий от 30 минут до трех часов.
Модель Claude Opus 5 выполнила все 20 попыток со 100% точностью, затрачивая на каждую менее 10 минут. Расчеты Mercor показали, что стоимость выполнения одного критерия для ИИ составила $0,21, тогда как для человека этот показатель достиг $10,35. Таким образом, нейросеть оказалась примерно в 49 раз дешевле в рамках данных сценариев.
Тестирование базировалось на задачах из бенчмарка APEX-Accounting, включая поиск данных в файлах и сверку показателей. В Mercor подчеркнули, что ИИ эффективен в структурированных процессах, однако пока не способен заменить специалистов в вопросах, требующих профессионального суждения, коммуникации с клиентами и работы в условиях неполной информации.
Исследователи также отметили динамику развития технологий за последние 18 месяцев. Если модель GPT-4o ранее демонстрировала околонулевые результаты, то последующие версии, включая OpenAI o3 и GPT-5, показали значительный прогресс, вплотную приблизившись к идеальным показателям в тех же упражнениях, с которыми ранее не справлялись.
