Компания разработала конвейер для нормализации мастер-данных, обрабатывающий миллионы записей с точностью 98%. Решение развернуто на обычном сервере с 8 ядрами и 16 ГБ оперативной памяти, что обеспечивает стабильную работу в корпоративном контуре.
Система классификации включает около 1000 классов. В среднем на каждый класс приходится 7 атрибутов, однако для сложных технических изделий их количество достигает 20–30. Точность нормализации должна составлять не менее 95%, чтобы избежать дублирования данных и ошибок в отчетности.
Первоначальный подход на основе регулярных выражений требовал 4 дня на настройку одного класса. Переход на дообученные модели на базе BERT и собственные архитектуры для извлечения сущностей (NER) сократил время подготовки до 1–2 дней на класс.
Тестирование больших языковых моделей (LLM) показало их неэффективность для промышленных задач. Инференс через LLM оказался в 30 раз медленнее локальных ML-моделей, а склонность к галлюцинациям приводила к додумыванию несуществующих атрибутов, что недопустимо для нормализации данных.
Итоговое решение сочетает локальные ML-модели для поиска фрагментов текста и жесткие правила для приведения значений к каноническому виду. Такой подход позволяет избежать генерации лишних данных и обеспечивает предсказуемость работы системы.
