Команда Центра развития искусственного интеллекта СПАО «Ингосстрах» занимается разработкой систем интеллектуальной обработки документов (IDP). Для извлечения данных они применяют мультимодальные LLM, исключая этап OCR.
Разработчики столкнулись с проблемой: нейросети могут выдавать синтаксически верный JSON с фактическими ошибками в данных, например, в номерах паспортов. Это создает риски для последующих систем обработки.
Для решения задачи команда решила использовать logprobs — логарифмы вероятностей токенов, которые модель выбирает на каждом шаге генерации. Эти показатели показывают степень уверенности модели в ответе.
Специалисты разработали метод превращения вероятностей токенов в оценку риска. Цель проекта — автоматизировать отбор документов, которые требуют ручной проверки из-за потенциальных ошибок модели.
