Общий вид прогнозирующих функций
Регрессия в общем виде
Регрессионная зависимость (в которой откликом является вещественное число) в общем виде записывается в виде некоторой функции, параметризованной вектором параметров :
Многоклассовый классификатор в общем виде
В многоклассовой классификации отклик принимает одно из дискретных значений:
Соответственно, каждый многоклассовый классификатор определяет внутри себя дискриминантных функций (discriminant functions) или функций рейтинга класса , - свою для каждого класса. По смыслу дискриминантная функция определяет, насколько хорошо объект подходит под соответствующий класс .
В качестве прогноза классификатор выдаёт класс, обладающий максимальным рейтингом:
Часто дискриминатные функции определяют как линейные функции от признаков либо как условные вероятности классов при условии вектора признаков , однако в общем случае это могут быть произвольные функции!
Пусть прогнозы классификатора определены в каждой точке . Однозначно ли по классификатору определяются его дискриминантные функции?
Нет, не однозначно. Например, мы можем прибавить или вычесть любую константу одновременно из всех дискриминантных функций, и на прогноз это не окажет никакого влияния: максимум будет достигаться на том же самом классе.
На самом деле дискриминантные функции определены даже с точностью до монотонно возрастающего преобразования. Например, мы можем одновременно возвести в куб или экспоненцировать все дискриминантные функции, и это не окажет влияния на прогноз класса!
Каким уравнением задаётся граница между i-м и j-м классом?
Граница между i-м и j-м классом - это множество всех таких объектов, для которых рейтинг для i-го класса совпадает с рейтингом для j-го класса, т.е. это множество точек:
Подробнее о дискриминантных функциях можно прочитать в [1].
Бинарный классификатор в общем виде
В бинарной классификации возможных классов всего два, один из которых называется положительным, а другой - отрицательным:
В качестве положительного обычно выбирают целевой класс, который встречается реже. Например, больной пациент при классификации людей на больных и здоровых или мошенническая транзакция при классификации на регулярные и мошеннические.
Прогноз строится по формуле
где - относительная дискри минантная функция, по смыслу определяющая, насколько положительный класс лучше подходит для объекта , чем отрицательный, а функция знака возвращает знак аргумента:
При функция знака не определена, и её можно доопределить возвращать либо +1, либо -1.
Литература
- Webb A. R., Copsey K.D. Statistical pattern recognition. – John Wiley & Sons, 2011: Discriminant functions.