В 2023 году RAG был основным способом работы с документацией из-за малых контекстных окон в 4–8 тысяч токенов. Разработка пайплайнов с чанкингом, эмбеддингами и векторными базами требовала месяцев работы и постоянной поддержки инфраструктуры.
Современные модели поддерживают контекст в 1 миллион токенов, однако архитектура трансформеров создает «U-образную» кривую внимания: модель лучше обрабатывает начало и конец текста, теряя точность в середине. Бенчмарк RULER показывает, что реальная рабочая зона моделей составляет лишь 50–65% от заявленного лимита.
Длительные диалоги приводят к «контекстному утомлению» (context rot). Исследования показывают, что при накоплении истории точность моделей падает с 85% до 65–70% после 15 вопросов. RAG обеспечивает стабильную точность в 85–90%, так как каждый запрос обрабатывается независимо и не засоряет рабочую память.
Для управления контекстом эксперты предлагают методы компактизации: создание саммари диалогов, очистку результатов инструментов и использование субагентов. Эти подходы позволяют изолировать задачи и возвращать в основной контекст только сжатые данные объемом 1000–2000 токенов.
Исследования подтверждают, что полные контекстные решения обходятся в 85 раз дороже RAG при работе с технической документацией. При этом RAG выигрывает за счет предсказуемой стоимости и отсутствия деградации качества при масштабировании сессии.
Автор призывает не усложнять архитектуру заранее. Рекомендуется начинать с простых инструментов, например, поиска по ключевым словам (BM25), и переходить к сложным RAG-стекам только в случае, если данные подтверждают необходимость такого масштабирования.
