Компания Lightbits Labs представила программный движок Inferra, предназначенный для оптимизации работы нейросетей. Решение переносит данные кэша key-value из ограниченной памяти GPU в DRAM и NVMe-накопители. Система использует предиктивную предвыборку, чтобы доставлять данные к графическому процессору до того, как они потребуются.
По данным компании, Inferra позволяет увеличить плотность одновременных сессий более чем в 16 раз и поддерживает контекстные окна размером свыше 10 миллионов токенов на стандартном оборудовании. В некоторых сценариях с длинным контекстом время до получения первого токена сокращается более чем в 100 раз, а частота попаданий в кэш достигает 99,9%.
Функциональность Inferra включает инструменты контроля качества обслуживания, шифрование и изоляцию данных между арендаторами. Система способна перемещать кэшированные данные при миграции сессии между кластерами GPU. Технология разбивает контекст на блоки, обеспечивая своевременную подачу информации для обработки.
В настоящее время Lightbits проводит пилотные внедрения Inferra, ориентируясь на провайдеров neocloud. Демонстрация продукта запланирована на конференции AI Infra Summit в Санта-Кларе. Решение предназначено для систем с использованием RAG, ИИ-агентов и длинных промптов, где требуется эффективное управление памятью.
