Компания TypeSafe представила модель Jev, предназначенную для классификации данных и оценки вероятностей вместо генерации текста. Основатель проекта — бывший исследователь OpenAI Диогу Алмейда. Модель принимает на вход состояние в виде строки или JSON и набор предопределенных вопросов, возвращая типизированные ответы. Разработчики заявляют об отсутствии галлюцинаций из-за жесткой структуры вывода.
Jev поддерживает типы запросов Score для оценки по шкале и Noul для определения вероятности истинности утверждения. Заявленная задержка составляет 70–500 мс, стоимость — $0,042 за миллион входных токенов, выходные токены бесплатны. По данным TypeSafe, модель до 193 раз быстрее и до 444 раз дешевле фронтирных LLM, однако эти бенчмарки построены самой компанией.
Ограничение контекста составляет 64k токенов, при этом состояние и самый длинный вопрос не должны превышать 32k. Точность модели снижается при увеличении объема состояния. Основной язык обучения — английский. Лимиты API составляют 100 тыс. токенов в секунду и 80 запросов в минуту. Модель ориентирована на роутинг тикетов, модерацию и создание гардрейлов для других систем.
Поскольку логика работы Jev строится на порогах вероятности, пользователям рекомендуется проводить калибровку на собственных данных. Воспроизводимость ответов может варьироваться, а работа с языками, отличными от английского, требует предварительной проверки. Модель призвана заменить регулярные выражения или дорогостоящие вызовы чат-моделей в задачах, требующих быстрых суждений.
