Контроль качества предсказания вероятностей

Калибровка вероятностей

Подбор преобразования $F_{\tau}(g)$ и его параметров $\tau$, переводящего рейтинг класса $g$ его вероятность называется калибровкой вероятностей (probability calibaration). Если классов только два, то в процессе калибровки строят график калибровки (calibration-plot), показанный ниже (источник изображения):

По оси X откладывают предсказанную вероятность положительного класса, а по оси Y - фактическую. Чем получаемая зависимость ближе к диагонали Y=X, тем лучше классификатор предсказывает вероятности. На графике выше видно, например, что метод Naive Bayes недооценивает истинную вероятность, когда предсказывает её малое значение, и, наоборот, переоценивает вероятность, когда предсказывает её большое значение.

Поскольку в обучающей выборке нам даны только истинные классы, а не их вероятности, то для расчета истинных вероятностей множество предсказанных вероятностей разбивают на отрезки, например

$$\hat{p}(y=+1|\mathbf{x})\le 0.1,\quad 0.1<\hat{p}(y=+1|\mathbf{x})\le 0.2,\quad ...\quad 0.9<\hat{p}(y=+1|\mathbf{x})$$

В рамках каждого отрезка, вычисляют фактическую вероятность положительного класса как долю объектов, принадлежащих этому классу.

Важно подчеркнуть, что даже если классификатор хорошо предсказывает метки классов, вероятности классов он может предсказывать плохо, например, как на рисунке ниже:

Классификатор верно настроился на то, что для $x<0$ вероятность положительного класса меньше 0.5, и надо предсказывать отрицательный класс. А для $x>0$ положительный класс более вероятен, и нужно предсказывать его. Поэтому точность предсказания меток класса будет высокой, однако вероятности классов предсказываются неверно, поскольку $\hat{p}(y=+1|x)\ne p(y=+1|x)$.

Общеупотребительные меры качества классификации, такие как точность (accuracy), частота ошибок (error rate) и др. оценивают только качество предсказания меток классов. Для оценки качества предсказания вероятностей можно использовать среднее значение логарифма правдоподобия или оценку Бриера.

Переобучение

Чтобы избежать переобучения, нужно, как и для других мер качества, качество предсказания вероятностей оценивать на внешней валидационной выборке, а не обучающей (на которой производилась настройка параметров модели).

Средний логарифм правдоподобия

Наша вероятностная модель $f_\mathbf{w}(\mathbf{x})$ сопоставляет каждому наблюдению $(\mathbf{x},y)$ вероятность пронаблюдать именно такой класс $\hat{p}_\mathbf{w}(y|\mathbf{x})$. При предположении, что объекты выборки распределены независимо, вероятность пронаблюдать ответы на всей выборке $(X,Y)$ факторизуется в произведение вероятностей пронаблюдать ответ на каждом объекте выборки:

$$\hat{p}_\mathbf{w}(Y|X)=\prod_{n=1}^N \hat{p}_\mathbf{w}(y|\mathbf{x})$$

Чем выше правдоподобие (likelihood), тем больше прогнозы модели согласуются с фактическими наблюдениями, и тем лучше модель прогнозирует вероятности классов. Поскольку произведение большого числа вероятностей будет давать машинный ноль, то на практике анализируют средний логарифм правдоподобия (log-likelihood):

$$\frac{1}{N}\sum_{n=1}^N \log \hat{p}_\mathbf{w}(y|\mathbf{x})$$

Оценка Бриера

Оценка Бриера представляет собой другой популярный способ оценки качества предсказанных вероятностей с помощью функции потерь Бриера (Brier score), равной средеe $L_2$ норме отклонений вектора предсказанных вероятностей от вектора истинных вероятностей. Пусть $\hat{\mathbf{p}}(y|\mathbf{x})\in\mathbb{R}^C$ - вектор предсказанных вероятностей нашей моделью, а $\mathbf{p}(y|\mathbf{x})\in\mathbb{R}^C$ - вектор истинных вероятностей. Например, если для объекта $\mathbf{x}$ реализуется $i$-й класс, то $\mathbf{p}(y|\mathbf{x})$ будет представлять собой вектор из нулей, в котором на $i$-й позиции стоит единица. Тогда оценка Бриера - это средний квадрат $L_2$ нормы отклонения вектора истинных вероятностей от вектора предсказанных вероятностей по всем объектам выборки:

$$\text{Brier Score} = \frac{1}{N}\sum_{n=1}^N \|\hat{\mathbf{p}}(y|\mathbf{x})-\mathbf{p}(y|\mathbf{x})\|_2^2$$

Вопрос

Правдоподобие выборки, логарифм правдоподобия и оценка Бриера измеряют степень ошибки (чем больше, тем хуже) или качество прогноза вероятностей (чем больше, тем лучше)?