Компания TypeSafe представила Jev — модель класса System One, которая анализирует состояние системы и вопросы, возвращая вероятности ответов за один проход без генерации токенов. Стоимость использования составляет $0,042 за миллион входных токенов при задержке 70–500 мс и контексте 32K.
За 16 дней после релиза Jev вышли аналоги: Clef и Clef-flash от Cloudflare, pplx-decider-v1-27b от Perplexity, Strands Decider 2B от AWS, Laya от Convai Innovations и GLiDE от Fastino. Архитектуры варьируются от замороженных LLM с обучаемыми адаптерами до специализированных энкодеров и моделей с механизмом рассуждения.
Cloudflare использует замороженные модели Qwen с LoRA-адаптерами по цене $0,24 и $0,09 за миллион токенов. Perplexity представила модель на 26,1 млрд параметров с контекстом 262K по цене $0,04 за миллион токенов. AWS открыла веса Strands Decider 2B на 1,9 млрд параметров с pointer-head.
Laya от Convai Innovations базируется на энкодере ModernBERT (421 млн параметров) и обрабатывает запрос за 33 мс на T4. Fastino разработала гибридную модель GLiDE, которая активирует дополнительное рассуждение при низкой уверенности. Стоимость рассуждения составляет $0,30 за миллион токенов.
Выбор модели зависит от конкретных задач, так как результаты на бенчмарках разнятся. При внедрении важно учитывать реальную задержку на стороне клиента, которая выше серверной, а также качество калибровки вероятностей для корректного переключения на запасные LLM при неуверенных ответах.
