Разработчик ассистента Чароит протестировал модель mDeBERTa-v3-base-xnli-multilingual-nli-2mil7 для поиска противоречий и дублей в протоколах встреч. Модель конвертировали в формат ONNX, её размер составил 1,1 ГБ, а время загрузки — 1,5 секунды. Хотя модель распознавала перефразы, она плохо справлялась с противоречиями, ошибочно принимая обсуждение разных задач за конфликт.
Автор пробовал дообучить модель на наборе из 16 пар, но выяснил, что она неэффективна при анализе длинных абзацев. В итоге для поиска противоречий стали использовать прямой поиск по стенограмме. NLI-модель оставили для дедупликации тезисов в реальном времени: новые пункты сравниваются с последними 16 записями, если префильтр difflib с порогом 0,3 пропускает пару, а модель подтверждает вероятность дубля выше 0,8.
Также была реализована система ревизии тем (ядер) встреч: bge-m3 отбирал кандидатов, а NLI оценивал их по сути. 5 октября ревизию отключили, так как она выдавала множество ложных срабатываний, объединяя разные темы с одинаковыми шаблонными статусами. Процесс потреблял много ресурсов, но не приносил практической пользы, так как никто не проверял пометки системы.
Попытка использовать NLI как фильтр для функции быстрых ответов не дала результата. Модель выявляла не-вопросы лишь в 1,7 % случаев при точности 55,6 %. Автор отметил, что основными проблемами стали «тихие» отказы модели из-за неверных путей к файлам, приоритетов выполнения задач и ошибок в логике проверки готовности модели, которые приводили к потере данных без уведомлений.
