Исследователи из Китайского университета Гонконга, Шанхайского университета Цзяотун и Шанхайского инновационного института представили метод Hindsight Meta-Experience Distillation (HMED). Работа опубликована на платформе arXiv 6 октября 2026 года под названием 'Learning from Revision Consequences: Hindsight Meta-Experience Distillation for Self-Improving Agents'.
Технология HMED фокусируется на метанавыках — стратегиях, которые агент использует для самосовершенствования, отдельно от библиотеки прикладных навыков. Метод возвращает агента в исходное состояние для сравнения оригинальных и измененных метанавыков в идентичных условиях. Полученные данные сохраняются как метаопыт, который используется для будущих обновлений, даже если конкретная правка была отклонена.
Разработчики протестировали HMED на шести комбинациях моделей и бенчмарков. Во всех случаях метод показал лучшие средние показатели производительности, превзойдя существующие базовые подходы. Исследование на бенчмарке ALFWorld подтвердило, что учет последствий правок дает более значительный прирост эффективности, чем простой выбор между старым и новым вариантом.
Стресс-тесты с обнулением библиотеки прикладных навыков показали, что метанавыки сохраняют эффективность, что указывает на развитие общих стратегий улучшения, а не на запоминание конкретных инструментов. HMED совершенствует сам процесс принятия решений о создании новых навыков, опираясь на принципы обучения с подкреплением и повторного использования опыта прошлых попыток.
