Команда маркетплейса разработала LLM-слой для автоматизации напоминаний покупателям, чтобы исключить ручной отбор диалогов менеджерами. Система анализирует переписку и определяет, нужно ли продолжать общение или завершить его.
На первом этапе использовали модель Qwen3-30B-A3B для классификации статусов диалогов. Интеграция позволила классифицировать сообщения со средним временем отклика около 0,95 секунды, не создавая задержек в работе приложения.
Для повышения точности добавили второй слой анализа ответов покупателей. Система научилась классифицировать намерения пользователей, включая жалобы, отказы или ожидание решения. Для оценки работы использовали 500 диалогов, размеченных менеджером.
Финальная архитектура включает каскад из двух моделей-судей и одного арбитра. В качестве судей применили Qwen3-30B-A3B и gpt-oss-120b, арбитром выступила DeepSeek-V4-Flash с резервной моделью GLM-4.5-Air.
В результате внедрения каскадной системы совпадение действий модели с разметкой выросло с 74% до 84%. Общее число ошибок сократилось на 38% при сохранении прежней средней стоимости решения.
