Avito ежедневно обрабатывает более 20 миллионов объявлений, при этом автоматизировано свыше 95% проверок. Оставшийся поток, составляющий сотни тысяч объявлений, направляется на дополнительную проверку.
Для модерации компания внедрила LLM, выбрав метод формирования промптов на основе регламентов. Такой подход обеспечивает баланс между стоимостью, скоростью работы и стабильностью поведения модели.
В работе используются 35B-модели для базовых задач и дообученные 8B-модели для сложных случаев. Дообучение проводится методом LoRA, при этом vision-слои остаются без изменений.
Для оптимизации промптов применяется адаптированный фреймворк GEPA, использующий вероятности токенов и инструкции на русском языке. Итоговые варианты промптов проходят обязательную ручную валидацию.
Система включает контур GuardRails для защиты от атак типа Prompt injection. Если входные данные подозрительны или модель не уверена в ответе, объявление передается на проверку человеку.
На текущий момент LLM автоматически обрабатывают около 70% объявлений, направленных на дополнительную проверку, с точностью около 94%. Оставшиеся 30% случаев остаются для последующей автоматизации.
