Компания Iterate Studio Inc. представила Lifeboat — движок для инференса больших языковых моделей с функциями конфиденциальных вычислений. ПО позволяет запускать от двух до шести раз больше одновременных сессий AI-агентов на одном графическом процессоре за счет оптимизации кэша и управления доступом к ресурсам GPU.
Тестирование на Nvidia RTX PRO 6000 Blackwell с моделью Qwen 30B-A3B показало, что Lifeboat поддерживает 2048 одновременных сессий. Скорость генерации составила 8714 токенов в секунду против 4965 без оптимизаций. В условиях высокой нагрузки время до получения первого токена сократилось до 1,5 секунды по сравнению с 189 секундами в базовом сценарии.
Версия Confidential Computing использует аппаратную аттестацию на процессорах AMD, Intel и GPU Nvidia (H100, B200, GB300), обеспечивая шифрование весов моделей в доверенных средах выполнения. Продукт стал общедоступным после периода раннего доступа, в ходе которого было зафиксировано несколько тысяч загрузок.
Разработчикам доступна бесплатная лицензия для некоммерческого использования на двух серверах. Стандартная подписка стоит $49,99 в месяц, версия с поддержкой конфиденциальных вычислений — $499,99 в месяц. Для платных тарифов предусмотрен семидневный бесплатный пробный период.
