Библиотека Laya версии 0.3.27 предназначена для принятия решений и калибровки моделей в режиме zero-shot. Инструмент оценивает предложенные варианты, не генерируя текст, что позволяет избежать расхода токенов на вывод.
При работе с моделью convaiinnovations/laya каждый вопрос обрабатывается как отдельная строка. Разработчикам рекомендуется использовать один вопрос с множеством вариантов выбора вместо серии вопросов типа «да/нет», так как это значительно эффективнее с точки зрения вычислительных затрат.
В ходе тестирования на банковском домене бенчмарка CLINC150 модель Laya достигла точности 0.804 в режиме zero-shot, используя только названия интентов и их краткие описания. Для сравнения, классификатор на базе TF-IDF и логистической регрессии требует наличия размеченных примеров для достижения сопоставимых результатов.
Система вычисляет два показателя уверенности: answer_confidence (вероятность выбранного ответа) и confidence (на основе нормализованной энтропии). Также предусмотрена возможность настройки температуры для корректировки распределения вероятностей.
