Аналитическое решение для гребневой регрессии

В гребневой регрессии вектор весов $\mathbf{w}$ находится из условия:

$$L(\mathbf{w})=\sum_{n=1}^{N}\left(\mathbf{x}_{n}^{T}\mathbf{w}-y_{n}\right)^{2}+\lambda \mathbf{w}^{T}\mathbf{w}\to\min_{\mathbf{w}}$$

Поскольку этот критерий выпуклый (докажите!), минимум является глобальным минимумом и находится из условия покомпонентного равенства градиента функции потерь нулю, т.е. $\nabla L(\mathbf{w})=0$:

$$2\sum_{n=1}^{N}\mathbf{x}_{n}\left(\mathbf{x}_{n}^{T}\widehat{\mathbf{w}}-y_{n}\right)+2\lambda\widehat{\mathbf{w}}=0$$

Отсюда, используя обозначение $I\in\mathbb{R}^{D\times D}$ для единичной матрицы, получаем:

$$\lparen \sum_{n=1}^N \mathbf{x}_n^T \mathbf{x}_n \rparen \hat{\mathbf{w}}+\lambda I \hat{\mathbf{w}} = \sum_{n=1}^N \mathbf{x}_n y_n$$ $$\lparen \sum_{n=1}^N \mathbf{x}_n^T \mathbf{x}_n +\lambda I \rparen \hat{\mathbf{w}} = \sum_{n=1}^N \mathbf{x}_n y_n$$

Используя обозначения для матрицы объекты-признаки $X\in\mathbb{R}^{N\times D}$ и вектора откликов $Y\in \mathbb{R}^N$, это можно переписать в виде:

$$\left(X^{T}X+\lambda I\right)\widehat{\mathbf{w}}=X^{T}Y,$$

откуда получим итоговый вид аналитического решения:

$$\widehat{\mathbf{w}}=(X^{T}X+\lambda I)^{-1}X^{T}Y$$

Существование решения

Обратим внимание, что матрица $X^{T}X+\lambda I$ положительно определена (докажите!), поэтому всегда невырождена для любых $\lambda>0$. Поэтому решение всегда существует - в отличие от линейной регрессии без регуляризации. Интуитивно решение существует, поскольку даже в случае линейной зависимости признаков регуляризация привносит в него однозначность - среди всех решений необходимо найти то, которое обладает максимальной простотой (минимизирует $\|\mathbf{w}\|_2^2$).