Исследователи Microsoft представили метод дистилляции навыков агентов кодирования (CASD). Технология позволяет создавать оптимизированные системные промпты на основе анализа логов прошлых задач. Система обрабатывает весь массив данных целиком, выявляя закономерности и типичные ошибки, не требуя итеративного поиска или взаимодействия с реальной средой.
Стоимость одного прохода CASD составляет около $1,60, что более чем в 22 раза дешевле стандартных итеративных методов настройки. Новый подход исключает необходимость использования проверочных выборок, что снижает затраты на подготовку и минимизирует риски при работе с производственными системами, где тестирование промптов может привести к нежелательным действиям.
В ходе испытаний CASD показал средний прирост эффективности на 16,6 процентных пункта по сравнению с базовыми моделями. Метод превзошел популярный инструмент GEPA в трех из четырех тестов, сохранив преимущество даже в условиях, когда конкуренты имели доступ к дополнительным проверочным данным и неограниченному взаимодействию с окружением.
Инструмент GEPA широко применяется в таких компаниях, как Databricks, Shopify, Dropbox и OpenAI. Несмотря на результаты CASD, авторы исследования отмечают, что итеративные методы все еще эффективнее в ряде структурированных задач, например, в бенчмарке SpreadsheetBench-Verified, где GEPA показал результат на 9,4 пункта выше.
