Сервис MWS Data Scout автоматизирует документирование таблиц баз данных с помощью больших языковых моделей. Решение призвано заменить ручной труд, который требует до шести часов на описание одной таблицы, что делает невозможным обработку крупных ландшафтов данных силами сотрудников.
Система собирает многослойный контекст: примеры записей, классификацию таблиц, отраслевые стандарты и документацию. Исследования показали, что перенасыщенные промпты с жестким форматом или устаревшей документацией снижают качество ответов, поэтому команда перешла к использованию уникальных промптов для разных типов данных.
Решение поддерживает более восьми коннекторов к СУБД, включая PostgreSQL, Oracle и ClickHouse, а также интеграцию с DataHub. В ходе тестирования на базах МТС 8180 таблиц были описаны менее чем за три дня. Скорость генерации составила 25 секунд на таблицу, что повысило производительность одного аналитика с 30 до 2000 таблиц в месяц.
Помимо текстовых описаний, система строит ER-диаграммы, выявляет скрытые связи и классифицирует персональные данные для соблюдения закона № 152-ФЗ. Для оптимизации затрат на GPU A100 и A40 простые задачи, такие как детекция ПДн, переведены на легкие классификаторы, работающие с миллисекундной задержкой.
Продукт обеспечивает создание семантического слоя, необходимого для работы корпоративных ИИ-агентов, которые без точных описаний могут ошибаться при трактовке метрик. При этом все чувствительные данные остаются внутри защищенного периметра компании, а маскирование полей происходит на сетевом шлюзе.
