Локально-линейная регрессия

В традиционной линейной регрессии прогноз строится как линейная комбинация признаков:

$$\hat{y}(\mathbf{x})=w_0+w_1 x^1+w_2 x^2+...+w_D x^D=w_0+\mathbf{w}^T \mathbf{x}, \tag{1}$$

где веса находятся из принципа минимизации наименьших квадратов:

$$\sum_{n=1}^N (w_0+\mathbf{w}^T \mathbf{x}_n-y_n)^2\to\min_{w_0,\mathbf{w}}$$

В качестве усложнения локально-постоянной регрессии мы можем использовать локально-линейную регрессию (local linear regression, locally weighted scatterplot smoothing, LOWESS), в которой прогноз $\hat{y}(\mathbf{x})$ также строится по формуле (1), однако параметры $w_0,\mathbf{w}$ находятся в основном по объектам, лежащим недалеко от $\mathbf{x}$, за счёт минимизации взвешенной суммы квадратов ошибок, где объекты $(\mathbf{x}_1,y_1),(\mathbf{x}_2,y_2),...(\mathbf{x}_N,y_N),$ учитываются с весами $\alpha_1,\alpha_2,...\alpha_N$:

$$\sum_{n=1}^N \alpha_n(\mathbf{x})(w_0+\mathbf{w}^T \mathbf{x}_n-y_n)^2\to\min_{w_0,\mathbf{w}} \tag{2}$$

Вес объекта $(\mathbf{x}_i,y_i)$ определяется близостью к прогнозируемому объекту $\mathbf{x}$, чем он ближе, тем его вес выше. Это позволяет вычислять коэффициенты линейной регрессии адаптивно к той точке, в которой нужно построить прогноз. В другой точке $x$ зависимость также будет линейной, но уже с другими коэффициентами. Формально веса $\alpha_i$ вычисляются точно так же, как веса в локально-постоянной регрессии.

Метод не метрический

Этот метод не является метрическим, поскольку оценки $w_0,\mathbf{w}$ будут в явном виде зависеть от признаковых описаний объектов.

По сравнению с локально-постоянной регрессией, локально-линейная более вычислительно трудоёмкая (необходимо заново находить минимум (2) для каждого целевого объекта), однако она лучше экстраполирует зависимости в области, где обучающих примеров мало.