Многоклассовая логистическая регрессия

Существует обобщение логистической регрессии и для решения задачи многоклассовой классификации, в которой прогнозируемая величина принадлежит одному из $C$ классов:

$$y\in\{1,2,...C\}$$

Многоклассовый линейный классификатор, как известно, определяется $C$ дискриминантными функциями, измеряющими рейтинг каждого из классов:

$$\begin{array}{cc} y=1: & g_{1}(\mathbf{x})=\mathbf{w}_{1}^{T}\mathbf{x}\\ y=2: & g_{2}(\mathbf{x})=\mathbf{w}_{2}^{T}\mathbf{x}\\ \cdots & \cdots\\ y=C: & g_{C}(\mathbf{x})=\mathbf{w}_{C}^{T}\mathbf{x} \end{array}$$

Для компактности записи смещение не указано, поскольку здесь мы добавили константную единицу в число признаков.

В модели многоклассовой логистической регрессии предполагается связь $g_{1}(\mathbf{x}),...g_{C}(\mathbf{x})$ с вероятностями классов через SoftMax-преобразование:

$$p(y=c|\mathbf{x})=\text{SoftMax}(\mathbf{w}_{c}^{T}\mathbf{x}|\mathbf{w}_{1}^{T}\mathbf{x},...\mathbf{w}_{C}^{T}\mathbf{x})=\frac{e^{\mathbf{w}_{c}^{T}\mathbf{x}}}{\sum_{i=1}^{C}e^{\mathbf{w}_{i}^{T}\mathbf{x}}}$$

для каждого класса $c=1,2,...C$.

Как видим, SoftMax-преобразование переводит $C$-мерный вектор рейтингов классов в $C$-мерный вектор выходов, которые:

• неотрицательны;

• суммируются в единицу.

Таким образом, выходы SoftMax можно трактовать как вероятности классов.

Веса полученной вероятностной модели нужно оценивать методом максимального правдоподобия.

Более компактное представление

Поскольку дискриминантные функции определены с точностью до сдвига на общую функцию (обоснуйте!), то, сдвигая каждый раз найденные дискриминантные функции на $\mathbf{w}_C^T \mathbf{x}$, получим эквивалентный классификатор с рейтингом последнего класса, равным тождественному нулю.

Поэтому, не ограничивая общности, можно сразу положить $g_C(\mathbf{x})\equiv 0$ и находить только вектора весов $\mathbf{w}_1,\mathbf{w}_2,...\mathbf{w}_{C-1}$. Число параметров модели тогда снизится с $C(D+1)$ до $(C-1)(D+1)$.