Исследователи протестировали семь облачных и локальных ИИ-моделей на 20 задачах для трех закрытых проектов на Delphi. Задачи включали работу с логикой, расчетами, VCL-формами и графиками. Корректность кода проверялась через компилятор RAD Studio 37.0 и тесты DUnitX.
Модели оценивались в двух режимах: без подсказок и с использованием навыка delphi-development. Навык включал четыре правила: использование .dfm для интерфейса, связку TImageCollection и TVirtualImageList, освобождение объектов через try-finally и стиль рамок Raize.
Лучшее соотношение цены и точности показала модель DeepSeek V4.1 Flash: 97% успешных запусков при стоимости $0,042 за задачу. Claude Haiku 5.5 выполнила 83–88% задач при цене $0,061 за каждую.
Claude Sonnet 5.5 и GPT-6.1 Terra оказались быстрее, решая задачи в среднем за 3 минуты, тогда как другим моделям требовалось от 6 до 11 минут. Стоимость этих моделей варьируется от $0,17 до $0,55 за задачу.
Оценка показала, что даже при прохождении всех тестов DUnitX модель может получить ноль баллов из-за превышения лимита предупреждений компилятора. Лишний код, дублирующий проверки, приводил к появлению дополнительных предупреждений W1002.
