Работа над проектом началась после ошибки, когда запрос превысил лимит в 922 000 токенов, достигнув 1 674 813 токенов. Команда использует self-hosted OpenWebUI с внутренним ассистентом для работы с документами и инженерными задачами.
Автор реализовал фильтр в middleware OpenWebUI для очистки истории. Фильтр удаляет старые сообщения инструментов и очищает вызовы инструментов в ответах ассистента, сохраняя при этом текстовое содержимое для контроля объема контекста.
Во второй фазе добавлено сжатие истории. При превышении лимитов, таких как 20 последних ходов или бюджет в 30 000 токенов, система передает старые сообщения модели-суммаризатору, в частности Qwen2.5-14b-instruct-1m, для создания сводки.
В июле 2026 года архитектура изменилась: исполнение агента вынесли во внешний сервис. OpenWebUI остался интерфейсом, а функция Pipe стала адаптером, передающим задачи в Agent Runtime на базе OpenAI Agents SDK и Codex SDK.
Переход на Responses API в октябре 2026 года потребовал ручной обработки SSE-событий для сбора результатов инструментов, так как SDK возвращал пустые массивы в финальных ответах. Теперь состояние хранится во внешнем Runtime.
