Метод один-против-всех

Метод один-против-всех (one-vs-all, one-vs-rest) позволяет решать задачу многоклассовой классификации с помощью набора бинарных классификаторов.

Для этого для каждого класса $c=1,2,...C$ настраивается собственный бинарный классификатор отличать этот класс от всех остальных, то есть предсказывать отклик

$$y'=\mathbb{I}[y=c].$$

Полученный классификатор будет определять, верно ли, что объект $\mathbf{x}$ принадлежит классу $c$ или нет по правилу:

$$\hat{y}=\text{sign}(g_c(\mathbf{x}))$$

с некоторой обученной для этого относительной дискриминантной функцией $g_c(\mathbf{x})$.

Тогда решающее правило для исходной многоклассовой классификации будет определяться по правилу

$$\hat{y}=\arg\max_c g_c(\mathbf{x}),$$

то есть будет назначаться тот класс, за который будет голосовать классификатор этого класса с самой большой уверенностью.

Это решающее правило очень похоже на общий вид многоклассового классификатора, с тем лишь отличием, что для нахождения всех дискриминантных функций необходимо обучить $C$ бинарных классификаторов на одной и той же выборке, но с разными откликами.