Стартап TypeSafe AI представил модель Jev, которая вместо генерации текста выносит узкоспециализированные суждения и оценивает вероятности. Компанию возглавляет Диого Алмейда, бывший исследователь OpenAI и соавтор работы InstructGPT. Принцип работы модели заключается в оценке вариантов ответов, заранее заданных разработчиками.
Jev анализирует входящие сообщения и присваивает им метки, например, «проблема с оплатой» или «запрос на возврат». На основе этих данных программное обеспечение применяет правила для обработки обращений. Такой подход позволяет автоматизировать сортировку запросов без использования полноценных чат-ботов.
Модель выдает результат за 70–500 миллисекунд за счет параллельных вычислений и отказа от пошаговой генерации текста. По заявлению разработчиков, это значительно быстрее существующих языковых моделей. Такая скорость позволяет использовать Jev для проверки ответов ИИ-ассистентов на соответствие контексту диалога.
Стоимость использования Jev составляет $0,042 за миллион входных токенов, плата за выходные данные не взимается. Разработчики утверждают, что модель не подвержена галлюцинациям, так как ограничена заданными вариантами, однако признают возможность выбора неверного варианта. Доступ к модели открыт через лист ожидания.
