Инициализация

Перед началом обучения нейросети необходимо случайно инициализировать её веса.

Важность случайной инициализации

Инициализировать начальные значения весов нужно именно случайно, а не одинаковыми константами, иначе для симметрично расположенных нейронов с одинаковыми весами на каждом шаге оптимизации из симметрии архитектуры они будут изменяться синхронно на одинаковую величину и нейроны будут извлекать одинаковые признаки!

Обычно веса инициализируют

• из равномерного распределения $w_n\sim U[-\varepsilon,\varepsilon]$, $Var[w_n]=\frac{\varepsilon^2}{3}$

• либо (чаще) из нормального распределения $w_n\sim \mathcal{N}(0,\sigma^2)$, $Var[w_n]=\sigma^2$

где $\sigma^2$ и $\varepsilon$ - малы, а смещения полагают равными нулю.

Разумная инициализация должна приводить к двум свойствам, когда мы рассматриваем дисперсию для разных слоёв нейросети:

• дисперсия активаций не должна изменяться.

• дисперсия градиента потерь по весу не должна изменяться.

Реального распределения активаций мы не знаем, поэтому пожелания выше должны выделяться для независимых и одинаково распределённых случайных величин.

Рекомендация

В случае нелинейностей с узкой областью изменений (в районе нуля для sigmoid, tangh, hard-tangh, soft-sign) желательно дополнительно обеспечивать малость дисперсий активаций за счёт уменьшения дисперсии входных признаков. В этом случае функции нелинейности не будут выходить на насыщение и нейроны (по крайней мере в начале обучения) будут настраиваться на невырожденные признаки.

Нечётные функции нелинейности

Рассмотрим случай нечётных функций нелинейности, т.е. удовлетворяющих свойству:

$$g(-u) = -g(u).$$

Среди рассмотренных функций этому свойству будут удовлетворять нелинейности tangh, hard-tangh и soft-sign.

Рассмотрим нейрон скрытого слоя с выходом $y=g(s)$, где

$$s=\sum_{n=1}^{N_{in}} w_n z_n,$$

а $N_{in}$ - число нейронов предыдущего слоя, $\{z_n\}_n$ - их активации, а смещение не пишем, поскольку инициализируем его нулём.

Обратим внимание, что если $\mathbb{E}w_n=0$ и $\mathbb{E}z_n=0$, то

$$\begin{align*} \mathbb{E}s &= \mathbb{E}\left\{ \sum_{n=1}^{N_{in}} w_n z_n \right\} \\ &=\sum_{n=1}^{N_{in}} \mathbb{E}\left\{ w_n z_n \right\}\\ &=\sum_{n=1}^{N_{in}} \mathbb{E}\{w_n\} \mathbb{E} \{ z_n \}=0, \end{align*}$$

где в последнем переходе мы воспользовались независимостью случайных величин $z_n$ и $w_n$.

В силу нечётности функции нелинейности,

$$\mathbb{E}\{y\} = \mathbb{E}\{g(s)\} = 0.$$

Таким образом, если входные признаки отцентрированы (имеют нулевое мат. ожидание), то нулевым мат. ожиданием будут обладать и полученные от них активации, а следовательно, по индукции, и активации всех последующих слоёв, если в каждом слое мы продолжаем использовать симметричные функции нелинейности.

Калиброванная случайная инициализация

Если рассматриваем нейрон первого скрытого слоя, то $z_1,...z_{N_{in}}$ - входные признаки. Отнормируем эти признаки, чтобы они имели нулевое среднее и единичную дисперсию. По формуле дисперсии произведения имеем:

$$\begin{align*} Var[w_n z_n] &= \mathbb{E}[w_n]^2 Var[z_n]+Var[w_n] \mathbb{E}[z_n]^2+Var[w_n]Var[z_i] \\ &= Var[w_n]Var[z_n], \end{align*}$$

где

• $\mathbb{E}[w_i]^2 Var[z_i]=0$ поскольку мы так инициализируем веса, что $\mathbb{E}[w_i]=0$.

• $Var[w_i] \mathbb{E}[z_i]^2=0$, поскольку $\mathbb{E}[z_i]=0$, вследствие того, что начальные признаки отцентрированы (имеют нулевое среднее), а линейный слой с симметричными функциями нелинейности сохраняет свойство нулевых мат. ожиданий для последующих активаций.

При нормализации входных признаков они все будут иметь нулевое мат. ожидание и дисперсию 1.

Все веса на заданном слое инициализируются случайно с одинаковой дисперсией $Var[w_n]$. Веса генерируются независимо от входов $z_n$. Предположим также, что входы - независимые случайные величины и имеют одинаковую дисперсию $Var[z_n]$. Тогда:

$$Var[y] \approx Var[s] = N_{in} Var[w_n] Var[z_n]$$

$Var[y] \approx Var[s]$, поскольку веса инициализируются малыми числами, поэтому суммарный вход $s$ также мал, а для малых значений симметричные нелинейности примерно равны тождественной функции нелинейности:

$$g(u)\approx u.$$

Входы $z_n$ в общем случае будут иметь различающиеся дисперсии, но если мы стандартизуем входные признаки (входы нулевого слоя нейросети), чтобы они имели одинаковую дисперсию, а дисперсию весов будем выбирать равной

$$Var[w_n]=\frac{1}{N_{in}} \tag{1}$$

то дисперсии выходов слоя также будут равны единице и далее, по индукции, будут примерно равны единице и выходы всех последующих слоёв сети.

Отклонения от (1)

Если $Var[w_n]>\frac{1}{N_{in}}$, то дисперсии активаций будут возрастать с номером слоя, а если

$Var[w_n]<\frac{1}{N_{in}}$, то убывать.

Инициализация весов, используя (1), называется калиброванной случайной инициализацией (calibrated random initialization).

• Если $w_n\sim U[-\varepsilon,\varepsilon]$, то $Var[w_n]=\frac{\varepsilon^2}{3}$, следовательно $\varepsilon=\sqrt{\frac{3}{N_{in}}}$

• Если $w_n\sim \mathcal{N}(0,\sigma^2)$, то $\sigma^2=\frac{1}{N_{in}}$

Инициализация Ксавьера

Если рассматривать не дисперсии активаций при проходе вперёд, а дисперсии градиентов при проходе назад во время метода обратного распространения ошибки, который используется для настройки сетей и будет описан далее, то те же самые рассуждения для сохранения дисперсии градиентов приведут к требованию

$$Var[w_n]=\frac{1}{N_{out}}, \tag{2}$$

где $N_{out}$ - число выходов линейного слоя.

В работе [1] предложено находить компромисс между сохранением дисперсий активаций (1) и сохранением дисперсий градиентов (2), беря среднее гармоническое между ними:

$$Var[w_n]=\frac{1}{\frac{1}{2}(1/\frac{1}{N_{in}}) + \frac{1}{2}(1/\frac{1}{N_{out}})}=\frac{2}{N_{in}+N_{out}}$$

• Если $w_n\sim U[-\varepsilon,\varepsilon]$, то $Var[w_n]=\frac{\varepsilon^2}{3}$, следовательно $\varepsilon=\frac{\sqrt{6}}{\sqrt{N_{in}+N_{out}}}$

• Если $w_n\sim \mathcal{N}(0,\sigma^2)$, то $\sigma^2=\frac{2}{N_{in}+N_{out}}$.

Эта инициализация называется инициализацией Ксавьера (Xavier initialization, также известная как Glorot initialization, поскольку первый автор Glorot Xavier).

Ниже показано сравнительное распределение активаций (при прямом проходе, activation value) и градиентов (при обратном проходе, backpropagated gradients) для инициализации весов $w_n\sim U[-\varepsilon,\varepsilon]$ для $\varepsilon=1/\sqrt{N_{in}}$ и $\varepsilon=\sqrt{6}/\sqrt{N_{in}+N_{out}}$ вверху и внизу каждого из изображений.

Распределение активаций на разных слоях [1]:

Распределение градиентов на разных слоях [1]:

Из-за отсутствия множителя $\sqrt{6}$ в калиброванной случайной инициализации распределение активаций сужается при переходе к более поздним слоям (изображение 1), а распределение градиентов наоборот расширяется (изображение 3). При инициализации Ксавьера оба распределения сохраняют стабильность по слоям (изображения 2 и 4).

Инициализация сложных архитектур

Рекомендуется строить графики распределения активаций и градиентов при настройке новых сложных архитектур.

Инициализация Хе

Инициализация весов Хе (He initialization, также известная как Kaiming initialization, поскольку первый автор Kaiming He) была предложена в работе [2] и рассматривает случай ReLU и Leaky ReLU функций нелинейности. Они сложнее, чем симметричные нелинейности, поскольку, $\mathbb{E}z\ne 0$. Например, для ReLU всегда $\mathbb{E}z>0$.

Рассмотрим нейрон в промежуточном слое с выходом

$$y=\text{ReLU}(s),$$ $$s=\sum_{n=1}^{N_{in}} w_n z_n,$$ $$z_n=\text{ReLU}(s_n^{prev}),$$

где $N_{in}$ - число нейронов предыдущего слоя, а $s_n^{prev}$ - сумма активаций ещё более раннего слоя, формирующая активацию нейрона $z_n$.

Смещение, как и прежде, инициализируем нулём.

Используя генерацию весов с нулевым мат. ожиданием ($\mathbb{E}w_n=0$) и свойство

$$Var[z_n]=\mathbb{E} [ z_n^2 ] - \mathbb{E} [ z_n ]^2,$$

получим:

$$\begin{align*} Var[w_n z_n] &= \mathbb{E}[w_n]^2 Var[z_n]+Var[w_n] \mathbb{E}[z_n]^2+Var[w_n]Var[z_i] \\ &= Var[w_n] \mathbb{E}[z_n]^2+Var[w_n]Var[z_n] \\ &= Var[w_n] (\mathbb{E}[z_n]^2+Var[z_n]) \\ &= Var[w_n] \mathbb{E} [ z_n^2 ] \end{align*}$$

Предполагая независимость входов и весов,

$$\begin{align*} Var[s] &= Var[\sum_{n=1}^{N_{in}} w_n z_n] = \sum_{n=1}^{N_{in}} Var[w_n z_n] \\ &= N_{in} Var[w_n] \mathbb{E} [ z_n^2 ] = \frac{1}{2} N_{in} Var[w_n] \mathbb{E} [ (s_n^{prev})^2 ], \end{align*}$$

где мы воспользовались симметрией распределения $s^{prev}_n$ (как функции от весов с симметрично распределёнными весами относительно нуля), у которого половина отрезается нелинейностью ReLU:

$$\mathbb{E} [ z_n^2 ]=\mathbb{E} [ \text{ReLU}(s^{prev}_n)^2 ]=\frac{1}{2} \mathbb{E} [(s^{prev}_n)^2]$$

Таким образом, чтобы сохранить дисперсию $s$ при переходе от предыдущего слоя к текущему, необходимо инициализировать веса по правилу

$$\frac{1}{2} N_{in} Var[w_n]=1 \quad \Rightarrow \quad Var[w_n]=\frac{2}{N_{in}} \tag{3}$$

Поэтому веса можно инициализировать из следующих распределений:

• $w_n \sim U[-\frac{\sqrt{6}}{\sqrt{N_{in}}}, \frac{\sqrt{6}}{\sqrt{N_{in}}}]$

• $w_n\sim \mathcal{N}(0,\frac{2}{N_{in}})$

Инициализация Каиминга ускоряет обучение глубоких нейронных сетей с функцией нелинейности ReLU (источник):

Для функции активации Leaky ReLU:

$$h(u)=\max\{ \alpha u; u \},\; \alpha\in (0,1) - \text{гиперпараметр.}$$

требование по равномерности дисперсии по слоям становится

$$\frac{1}{2}(1+\alpha^2) N_{in} Var[w_n]=1 \quad \Rightarrow \quad Var[w_n]=\frac{2}{N_{in}(1+\alpha^2)}$$

Легко заметить, что при $\alpha=0$ это сводится к (3), а при $\alpha=1$ (нелинейность-тождественное преобразование) сводится к (1).

Итог

• Веса сети нужно инициализировать из нормального или равномерного распределения с нулевым мат. ожиданием и малой дисперсией.

• Дисперсия должна быть тем меньше, чем больше нейронов в слое.

• Инициализация Ксавьера используется для слоя с нечётными функциями активации.

• Инициализация Хе используется для слоя с функциями активации ReLU и LeakyReLU.

Литература

1. Glorot X., Bengio Y. Understanding the difficulty of training deep feedforward neural networks //Proceedings of the thirteenth international conference on artificial intelligence and statistics. – JMLR Workshop and Conference Proceedings, 2010. – С. 249-256.
2. He K. et al. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification //Proceedings of the IEEE international conference on computer vision. – 2015. – С. 1026-1034.