Команда Авито Рекламы разработала ИИ-конвейер для автоматизации анализа обратной связи от пользователей. Система заменила ручную обработку, которая стала неэффективной из-за кратного роста числа пользователей после запуска кабинета в июне 2025 года. Архитектура решения сочетает работу специализированных ИИ-агентов и Python-скриптов для соблюдения правил разметки.
Система анализирует не комментарий целиком, а отдельные смысловые темы внутри него. Процесс включает работу нескольких субагентов: сегментатор выделяет мысли, критик полноты проверяет их, классификатор применяет таксономию, а независимые проверяющие контролируют качество. Python-помощник управляет очередью, структурой данных и записью итогов.
Для обработки фидбэк делят на бакеты до 50 комментариев, статус которых фиксируется в манифесте. Такой подход позволяет избежать перегрузки контекста и локализовать ошибки. Продуктовая логика хранится в справочнике, который поддерживают UX-исследователи. Это позволяет менять правила без переписывания кода, ориентируясь на условия применения, а не на схожесть слов.
Для оценки качества создана контрольная выборка из 196 комментариев, размеченных вручную. Основной метрикой эффективности является Micro F1, учитывающая точность и полноту назначения тем. На текущий момент показатель Micro F1 по консёрнам составляет 83,87%. Случаи, где агент выбирает более точное правило, чем в эталоне, обсуждаются с исследователями для корректировки базы.
