Инженеры Agentic Lab разработали компактную модель для извлечения сущностей из судебных документов, чтобы избежать отправки данных во внешние API. Решение реализовано на базе Qwen2.5-1.5B с LoRA-адаптером, что позволяет запускать систему локально на видеокартах A5000.
Новая модель достигает макро-F1 0.70, что сопоставимо с показателем 0.71 у Ministral 3 14B. При этом на картах A5000 она работает в 2,2 раза быстрее, чем Ministral на A100. Для обучения использовали корпус из 5 500 реальных документов, полученных с согласия клиентов.
Первоначальные попытки сбалансировать модель с помощью синтетических данных не принесли результата, так как команда фокусировалась на классах сущностей, а не на типах документов. Проблема решилась после генерации недостающих типов документов, таких как ходатайства и претензии, что позволило повысить точность извлечения событий исполнения на 23 пункта.
Переход на собственную модель был продиктован требованиями безопасности и ограничениями видеопамяти. Использование крупных моделей, таких как Gemma 4 28b, приводило к нехватке ресурсов на A100, что мешало работе других сервисов. Компактная модель обеспечивает необходимую производительность при соблюдении требований 152-ФЗ.
