Конечные меры эффективности

Решая задачи, мы реализуем некоторую сложную многосоставную бизнес-цель. Например, пытаемся максимизировать лояльность пользователя при использовании нашего сервиса, которая зависит от удобства сервиса, выгодных цен, индивидуальных предложений, наличия товаров на складе, скорости обслуживания.

Для успешного решения задачи важно как-то квантифицировать (quantify) достижение цели в виде измеримого ключевого показателя эффективности (key performance indicators, KPI). Например, измерять лояльность можно по средней оценке пользователей, доле положительных отзывов на сервис и доле вернувшихся пользователей среди существующих в следующем месяце.

Отслеживание KPI

При работе бизнеса нужно динамически отслеживать KPI и его динамику во времени, подобно тому, как при лечении пациента отслеживается его температура, давление и другие ключевые показатели здоровья.

Стандартные меры качества прогнозов, предлагаемые в этом учебнике, оценивают лишь один из факторов, влияющих на общую эффективность. Например,

• точность рекомендаций в списке рекомендованных товаров.

• качество прогноза спроса на товары перед их доставкой на склад

• вероятность заинтересованности клиента в спец. предложении

По историческим данным можно оценить влияние этих метрик на конечный KPI, например, линейно:

$$\text{KPI}=w_0+w_1\cdot RMSE+w_2\cdot BadFreq+... \text{ (учёт других факторов)}$$

После подобной оценки можно на качественном уровне оценивать влияние отдельных мер качества на итоговую эффективность всего бизнеса и судить о том, модели с какими мерами качества нам подходят, а какие - нет.