Компания Couchbase Inc. расширила возможности своей платформы AI Data Plane, добавив интеграцию с Amazon Bedrock, семантическое кэширование и сервер протокола контекста модели. Также в аналитический движок Operational Insights был внедрен векторный поиск.
По данным Couchbase, семантическое кэширование позволяет сократить количество обращений к языковым моделям на 40–60%. Использование Agent Memory снижает потребление токенов на 33–45%, а векторный поиск уменьшает размер промптов на 70% по сравнению с полноконтекстными методами.
Решения призваны снизить нагрузку на инфраструктуру, так как агенты создают на 450% больше трафика на задачу, чем люди. Это позволяет компаниям избегать перехода на менее производительные модели из-за высоких счетов за использование ИИ при масштабировании проектов.
Couchbase делает ставку на консолидацию данных, что позволяет выполнять сложные аналитические запросы за один шаг, снижая задержки и риски безопасности. Технологии компании уже применяются в LinkedIn, Amadeus и Mavenir.
