Система TokenRouter разработана для решения проблем маршрутизации LLM на уровне токенов. Этот подход позволяет оптимизировать соотношение стоимости и качества обслуживания, перераспределяя нагрузку между специализированными и универсальными моделями в зависимости от сложности задачи.
В отличие от привычной маршрутизации на уровне сессий или отдельных запросов, работа с токенами создает технические сложности. Существующие системы сталкиваются с десинхронизацией шагов и задержками при формировании батчей. TokenRouter предлагает архитектуру, основанную на принципе программирования с точки зрения запроса и исполнения с точки зрения модели.
