Перейти к основному содержимому

Общий вид прогнозирующих функций

Регрессия в общем виде​

Регрессионная зависимость (в которой откликом является вещественное число) в общем виде записывается в виде некоторой функции, параметризованной вектором параметров w\mathbf{w}:

y^=fw(x)\hat{y}=f_{\mathbf{w}}(\mathbf{x})

Многоклассовый классификатор в общем виде​

В многоклассовой классификации отклик принимает одно из CC дискретных значений:

y∈{1,2,....C}y \in \{1,2,....C\}

Соответственно, каждый многоклассовый классификатор определяет внутри себя CC дискриминантных функций (discriminant functions) или функций рейтинга класса gc(x)g_c(\mathbf{x}), c=1,2,...Cc=1,2,...C - свою для каждого класса. По смыслу дискриминантная функция gc(x)g_c(\mathbf{x}) определяет, насколько хорошо объект x\mathbf{x} подходит под соответствующий класс cc.

В качестве прогноза классификатор выдаёт класс, обладающий максимальным рейтингом:

y^=arg⁡max⁡cgc(x)\hat{y}=\arg\max_c g_c(\mathbf{x})

Часто дискриминатные функции определяют как линейные функции от признаков либо как условные вероятности классов при условии вектора признаков x\mathbf{x}, однако в общем случае это могут быть произвольные функции!

Пусть прогнозы классификатора (номера классов) известны для каждого объекта (в каждой точке). Однозначно ли тогда по классификатору определяются его дискриминантные функции?

Нет, не однозначно. Например, мы можем прибавить или вычесть любую константу одновременно из всех дискриминантных функций, и на прогноз это не окажет никакого влияния: максимум будет достигаться на том же самом классе.

На самом деле дискриминантные функции определены даже с точностью до монотонно возрастающего преобразования. Например, мы можем одновременно возвести в куб или экспоненцировать все дискриминантные функции, и это не окажет влияния на прогноз класса!

Каким уравнением задаётся граница между i-м и j-м классом?

Граница между i-м и j-м классом - это множество всех таких объектов, для которых рейтинг для i-го класса совпадает с рейтингом для j-го класса, т.е. это множество точек:

{x:gi(x)=gj(x)}\{\mathbf{x}: g_i(\mathbf{x})=g_j(\mathbf{x})\}

Подробнее о дискриминантных функциях можно прочитать в [1].

Бинарный классификатор в общем виде​

В бинарной классификации возможных классов всего два, один из которых называется положительным, а другой - отрицательным:

y∈{+1,−1}y\in \{+1,-1\}

В качестве положительного обычно выбирают целевой класс, который встречается реже. Например, больной пациент при классификации людей на больных и здоровых или мошенническая транзакция при классификации на регулярные и мошеннические.

Прогноз строится по формуле

y^=arg⁡max⁡c∈{+1,−1}gc(x)=sign(g+1(x)−g−1(x))=sign(g(x)),\hat{y}=\arg\max_{c\in\{+1,-1\}}g_c(\mathbf{x})=\text{sign}(g_{+1}(\mathbf{x})-g_{-1}(\mathbf{x}))=\text{sign}(g(\mathbf{x})),

где g(x)=g+1(x)−g−1(x)g(\mathbf{x})=g_{+1}(\mathbf{x})-g_{-1}(\mathbf{x}) - относительная дискриминантная функция, по смыслу определяющая, насколько положительный класс лучше подходит для объекта x\mathbf{x}, чем отрицательный, а функция знака возвращает знак аргумента:

sign(u)={+1,если u>0−1,если u<0\text{sign}(u)=\begin{cases} +1, &\text{если } u>0 \\ -1, &\text{если } u<0 \end{cases}

При u=0u=0 функция знака не определена, и её можно доопределить возвращать либо +1, либо -1.

Литература​

  1. Webb A. R., Copsey K.D. Statistical pattern recognition. – John Wiley & Sons, 2011: Discriminant functions.