Перейти к основному содержимому

Доказательство разложения

Докажем разложение на смещение и разброс:

EX,Y,ε{[f^(x)−y(x)]2}=(EX,Y{f^(x)}−f(x))2+EX,Y{[f^(x)−EX,Yf^(x)]2}+Eε2\begin{aligned}\mathbb{E}_{X,Y,\varepsilon}\{[\widehat{f}(\mathbf{x})-y(\mathbf{x})]^{2}\}=&\left(\mathbb{E}_{X,Y}\{\widehat{f}(\mathbf{x})\}-f(\mathbf{x})\right)^{2}\\&+\mathbb{E}_{X,Y}\left\{ [\widehat{f}(\mathbf{x})-\mathbb{E}_{X,Y}\widehat{f}(\mathbf{x})]^{2}\right\} +\mathbb{E}\varepsilon^{2}\end{aligned}

Зафиксируем x\mathbf{x}, для которого строится прогноз. Далее везде в математических ожиданиях будет производиться усреднение по всевозможным реализациям обучающей выборки и случайного шума, то есть

E{⋅}=EX,Y,ε{⋅}\mathbb{E}\{\cdot\} = \mathbb{E}_{X,Y,\varepsilon}\{\cdot\}

Для начала разложим следующее выражение:

E{(f^(x)−f(x))2}=E{(f^(x)−Ef^(x)+Ef^(x)−f(x))2}=E{(f^(x)−Ef^(x))2}+E{(Ef^(x)−f(x))2}+2⋅E{(f^(x)−Ef^(x))(Ef^(x)−f(x))}=E{(f^(x)−Ef^(x))2}+(Ef^(x)−f(x))2,\begin{aligned}\mathbb{E}\left\{\left(\widehat{f}(\mathbf{x})-f(\mathbf{x})\right)^{2}\right\}&= \mathbb{E}\left\{\left(\widehat{f}(\mathbf{x})-\mathbb{E}\widehat{f}(\mathbf{x})+\mathbb{E}\widehat{f}(\mathbf{x})-f(\mathbf{x})\right)^{2}\right\}\\ &=\mathbb{E}\left\{\left(\widehat{f}(\mathbf{x})-\mathbb{E}\widehat{f}(\mathbf{x})\right)^{2}\right\}+\mathbb{E}\left\{\left(\mathbb{E}\widehat{f}(\mathbf{x})-f(\mathbf{x})\right)^{2}\right\}\\&+2\cdot\mathbb{E}\left\{(\widehat{f}(\mathbf{x})-\mathbb{E}\widehat{f}(\mathbf{x}))(\mathbb{E}\widehat{f}(\mathbf{x})-f(\mathbf{x}))\right\}\\&=\mathbb{E}\left\{\left(\widehat{f}(\mathbf{x})-\mathbb{E}\widehat{f}(\mathbf{x})\right)^{2}\right\}+\left(\mathbb{E}\widehat{f}(\mathbf{x})-f(\mathbf{x})\right)^{2},\end{aligned}

где мы воспользовались тем, что (Ef^(x)−f(x))(\mathbb{E}\widehat{f}(\mathbf{x})-f(\mathbf{x})) - константа, а значит,

E{(f^(x)−Ef^(x))(Ef^(x)−f(x))}=(Ef^(x)−f(x))E{f^(x)−Ef^(x)}=0\begin{aligned} \mathbb{E}\{(\widehat{f}(\mathbf{x})-\mathbb{E}\widehat{f}(\mathbf{x}))(\mathbb{E}\widehat{f}(\mathbf{x})-f(\mathbf{x}))\}\\&=(\mathbb{E}\widehat{f}(\mathbf{x})-f(\mathbf{x}))\mathbb{E}\{\widehat{f}(\mathbf{x})-\mathbb{E}\widehat{f}(\mathbf{x})\}=0 \end{aligned}

Следовательно,

E{(f^(x)−y)2}=E{(f^(x)−f(x)−ε)2}=E{(f^(x)−f(x))2}+Eε2−2E[(f^−f)ε]=E{(f^(x)−Ef^(x))2}+(Ef^(x)−f(x))2+Eε2\begin{aligned} \mathbb{E}\left\{\left(\widehat{f}(\mathbf{x})-y\right)^{2}\right\} &= \mathbb{E}\left\{\left(\widehat{f}(\mathbf{x})-f(\mathbf{x})-\varepsilon\right)^{2}\right\}\\ &=\mathbb{E}\left\{\left(\widehat{f}(\mathbf{x})-f(\mathbf{x})\right)^{2}\right\}+\mathbb{E}\varepsilon^{2}-2\mathbb{E}\left[(\widehat{f}-f)\varepsilon\right] \\ &= \mathbb{E}\left\{\left(\widehat{f}(\mathbf{x})-\mathbb{E}\widehat{f}(\mathbf{x})\right)^{2}\right\}+\left(\mathbb{E}\widehat{f}(\mathbf{x})-f(\mathbf{x})\right)^{2}+\mathbb{E}\varepsilon^{2} \end{aligned}

где, в силу независимости случайных величин f^(x)\hat{f}(\mathbf{x}) (которая зависит только от X,YX,Y) и ε\varepsilon:

E{(f^(x)−f(x))ε}=E{(f^(x)−f(x))}⋅Eε=0\mathbb{E}\left\{(\widehat{f}(\mathbf{x})-f(\mathbf{x}))\varepsilon\right\}=\mathbb{E}\left\{(\widehat{f}(\mathbf{x})-f(\mathbf{x}))\right\} \cdot \mathbb{E}\varepsilon=0