Компания Redis представила LangCache — управляемый семантический кэш, доступный в режиме публичного тестирования на платформе Redis Cloud. Сервис работает через REST API и поддерживает SDK для Python и JavaScript. Решение позволяет сохранять ответы нейросетей, исключая повторные запросы к модели.
Система использует векторную базу данных для поиска похожих запросов. Настраиваемые параметры, такие как пороги сходства и время жизни записи, позволяют управлять точностью кэширования. По данным Redis, использование сервиса способно сократить расходы на токены LLM на величину до 90%.
Тесты показывают ускорение ответов до 15 раз при попадании в кэш. В ходе демонстрации время получения ответа составило 0,37 секунды против 2,23 секунды при прямом обращении к модели. Пользователи могут отслеживать эффективность кэширования и экономию через консоль Redis Cloud.
Сервис Mangoes.ai сообщил о 70% попаданий в кэш, что снизило затраты на LLM на 70% и ускорило работу приложения в 4 раза. Redis заявляет, что данные клиентов хранятся изолированно и не используются для обучения моделей. Доступны инструменты фильтрации, настройки TTL и мониторинга.
