Линейный ансамбль моделей

Для повышения точности прогнозов часто используют ансамбли моделей (model ensemble), называемые также композициями моделей. Для этого используют прогнозы $M$ базовых моделей $f_{1}\left(\mathbf{x}\right),...f_{M}\left(\mathbf{x}\right)$, а итоговый прогноз строят через агрегирующую модель (называемую также мета-моделью) $G(f_{1}\left(\mathbf{x}\right),...f_{M}\left(\mathbf{x}\right))$. Таким образом, прогнозы базовых моделей выступают признаками для агрегирующей модели.

Часто используется линейная комбинация прогнозов различных моделей:

$$\widehat{y}(\mathbf{x})=f\left(\mathbf{x}\right)^{T}\widehat{\mathbf{w}}=\hat{w}_1 f_1(\mathbf{x})+...+\hat{w}_M f_M(\mathbf{x})$$

Веса $\mathbf{w}$ этой модели настраиваются через линейную регрессию, признаками которой выступают прогнозы базовых моделей. Чтобы избежать переобучения, коэффициенты настраиваются на отдельной обучающей выборке, а не выборке, по которой настраивались параметры базовых моделей.

Построение прогнозов, агрегируя ансамбли моделей и используя при этом произвольную агрегирующую функцию, будет впоследствии рассматриваться в алгоритме стэкнига и блендинга.

Веса можно настраивать обычным способом, а можно ввести дополнительные требования из логики задачи:

$$\begin{cases} \sum_{n=1}^{N}\left(f\left(\mathbf{x}_{n}\right)^{T}\mathbf{w}-y_{n}\right)^{2}+\lambda\sum_{m=1}^{M}\left(w_{m}-\frac{1}{M}\right)^{2}\to\min_{\mathbf{w}}\\ w_{m}\ge 0,\quad m=1,2,...M. \end{cases}$$

Вместо классической L2-регуляризации мы приближаем веса к равномерным $(\frac{1}{M},\frac{1}{M},...\frac{1}{M})$. Тогда даже для больших $\lambda$ модель будет сдвигаться к разумной стратегии - равномерному усреднению прогнозов базовых моделей, а не к константному нулю.

Добавление смещения

Если базовые модели систематически переоценивают или недооценивают прогноз, то в агрегирующую модель можно добавить смещение $w_0$, которое мы не будем подвергать регуляризации.