Компания TypeSafe представила модель Jev, разработанную бывшим инженером OpenAI Диого Алмейдой. По заявлениям разработчиков, система работает до 194 раз быстрее и обходится в 445 раз дешевле, чем современные большие языковые модели. Jev ориентирована на вероятностное принятие решений, а не на генерацию текста.
Модель использует метод обучения с подкреплением для калиброванных решений и выдает ответы в формате JSON. Запросы обрабатываются параллельно без необходимости хранения глобального контекста или истории диалогов. Каждый ответ содержит показатель уверенности, что позволяет встраивать ИИ в программные алгоритмы.
Окно контекста Jev ограничено 64 000 токенов. Система предназначена для конкретных задач, таких как маршрутизация намерений или оценка данных. Разработчики самостоятельно принимают решения на основе полученных коэффициентов уверенности. Модель не обучается на данных пользователя и работает только с предоставленным состоянием.
В TypeSafe подчеркивают, что Jev не заменяет LLM в задачах, требующих широкого рассуждения. Разработчики могут комбинировать инструменты: использовать Jev для быстрой оценки ситуации, а LLM — для анализа логов или написания отчетов. Модель может ошибаться в классификации данных или быть уязвимой к состязательным атакам.
