Линейная классификация
Напомним из более ранней главы, что задача классификации состоит в предсказании дискретного отклика:
и осуществляется по правилу
где - дискриминантные функции, измеряющие рейтинг класса для объекта .
Линейный многоклассовый классификатор
Линейный многоклассовый классификатор (linear multiclass classifier) - классификатор, у которого все дискриминантные функции могут быть представлены в виде линейных функций:
Для спецификации линейного классификатора нужно задать смещений и векторов из коэффициентов при каждом признаке . Таким образом, для спецификации достаточно параметров.
Поскольку дискриминантные функции определены с точностью до сдвига на произвольную функцию (докажите!), то можно всегда смещать на , получая, что рейтинг последнего класса будет равен тождественному нулю. И для спецификации линейного классификатора достаточно всего параметров.
Граница между -м и -м классом определяется из условия:
Поскольку это линейное уравнение, то граница для линейного классификатора всегда будет линейной гиперплоскостью.
Линейный бинарный классификатор
Линейный бинарный классификатор (linear binary classifier) решает задачу классификации на два класса, называемые положительным и отрицательным:
Как правило, в качестве положительного класса выбирают целевой класс, представляющий интерес и требующий дальнейшей обработки, а в качестве отрицательного - фоновый. Например, при классификации, болен ли пациент или здоров, больных относят к положительному классу, а здоровых - к отрицательному. Поэтому положительный класс более редко встречается, чем отрицательный.
Прогноз для линейного бинарного классификатора строится по правилу:
где мы ввели обозначения:
а функция извлекает знак аргумента:
Величина является относительной дискриминантной функцией или относительным рейтингом, и характеризует насколько положительный класс лучше подходит для объекта , чем отрицательный.
Геометрическая интерпретация
Расстояние от до гиперплоскости , задаваемым уравнением
можно посчитать (докажите!) как
Обратим внимание, что это расстояние со знаком, т.е. оно может быть как положительным, так и отрицательным, в зависимости от того, точка лежит с одной или с другой стороны от гиперплоскости.
Из последней формулы видно, что относительная дискриминантная функция - это расстояние (со знаком) от до разделяющей гиперплоскости.
-
Если она принимает большие значения, то лежит в глубине того или иного класса, а если малые - то на границе между классами.
-
По одну сторону от разделяющей гиперплоскости модель прогнозирует один класс, а по другую - другой.