Общий вид прогнозирующих функций
Регрессия в общем виде
Регрессионная зависимость (в которой откликом является вещественное число) в общем виде записывается в виде некоторой функции, параметризованной вектором параметров :
Многоклассовый классификатор в общем виде
В многоклассовой классификации отклик принимает одно из дискретных значений:
Соответственно, каждый многоклассовый классификатор определяет внутри себя дискриминантных функций (discriminant functions) или функций рейтинга класса , - свою для каждого класса. По смыслу дискриминантная функция определяет, насколько хорошо объект подходит под класс .
В качестве прогноза классификатор выдаёт класс, обладающий максимальным рейтингом:
Пусть прогнозы классификатора определены в каждой точке . Однозначно ли по классификатору определяются его дискриминантные функции?
Нет, не однозначно. Например, мы можем прибавить или вычесть любую константу одновременно из всех дискриминантных функций, и на прогноз это не окажет никакого влияния: максимум будет достигаться на том же самом классе.
На самом деле дискриминантные функции определены даже с точностью до монотонно возрастающего преобразования. Например, мы можем одновременно возвести в куб или экспоненцировать все дискриминантные функции, и это не окажет влияния на прогноз класса.
Каким уравнением задаётся граница между i-м и j-м классом?
Граница между i-м и j-м классом - это множество всех таких объектов, для которых рейтинг для i-го класса совпадает с рейтингом для j-го класса, т.е. это множество точек:
Бинарный классификатор в общем виде
В бинарной классификации возможных классов всего два, один из которых называется положительным, а другой - отрицательным:
Прогноз строится по формуле
где - относительная дискриминантная функция, по смыслу определяющая, насколько положительный класс лучше подходит для объекта , чем отрицательный, а функция знака возвращает знак аргумента:
При функция знака не определена, и её можно доопределить возвращать либо +1, либо -1.