OpenAI представила бенчмарк MultiLangBench для оценки работы нейросетей с малоресурсными языками программирования, включая COBOL, Fortran, Visual Basic и OCaml. Модели должны с нуля написать движок базы данных, совместимый с SQLite 3.40.1, используя только документацию.
В тестах модель GPT-6 Astra показала результат 87,4% по 20 языкам, тогда как GPT-5.6 Sol справлялась с 26,8% задач. COBOL остается наиболее сложным языком: показатель успеха для GPT-6 Astra составил 72,1% против 10,9% у предыдущей версии.
В закрытом тесте на перенос кода с COBOL на современные языки (C++, Java, Rust) модель GPT-6.1 Sol успешно выполнила 86,6% заданий, а при увеличении времени на размышление — 97,9%. Для сравнения, GPT-5.6 Sol справлялась с 5,4% задач.
OpenAI подчеркивает, что автоматизация миграции требует экспертной проверки бизнес-логики. Различия в арифметике с фиксированной точкой между COBOL и современными языками могут приводить к ошибкам в расчетах, поэтому полный цикл модернизации систем остается задачей для людей.
