В статье рассматривается переход от метрик машинного обучения к экономическим результатам в управлении ценностью клиентской базы (CVM). Автор отмечает, что высокая точность ранжирования модели не гарантирует прибыль, так как необходимо учитывать затраты на стимулы и коммуникации.
Для иллюстрации приводится синтетический пример с 10 000 клиентов. При базовой вероятности покупки 0,10 и вероятности 0,18 с предложением, абсолютный uplift составляет 8 процентных пунктов. При марже 300 ₽, скидке 50 ₽ и стоимости контакта 2 ₽, дополнительная прибыль составит 130 000 ₽.
Автор подчеркивает, что скидки снижают маржу для всех покупателей, включая тех, кто совершил бы покупку и без акции. Это может привести к отрицательному результату даже при положительном uplift, например, в стресс-сценарии при скидке 150 ₽ убыток составит 50 000 ₽.
Для измерения реальной ценности модели предлагается сравнивать прибыль от новой политики отбора аудитории с прибылью от текущей политики за вымопом additional costs на использование модели. Для этого необходим рандомизированный дизайн, где результаты сравниваются по всей назначенной популяции, а не только по получателям предложений.