Шаг обучения (learning rate)

Важность уменьшения шага

Шаг обучения в градиентных методах $\eta$ (learning rate) - важнейший параметр оптимизации. Если его выбрать слишком большим, то оптимизация может расходиться, а если слишком малым - то сходимость будет слишком медленная.

Метод стохастического градиентного спуска теоретически сходится лишь в случае постепенного уменьшения шага обучения $\eta$ к нулю, поскольку, даже находясь в глобальном оптимуме, метод продолжает изменения весов, вызванные ошибками в оценке градиента функции потерь по мини-батчу наблюдений. На практике шаг обучения не уменьшают до совсем малых значений, поскольку нас интересует быстрое нахождение приближённого решения, а не медленное - точного.

Точное решение не имеет смысла, поскольку

• мы все равно сходимся к локальному (не самому оптимальному), а не глобальному оптимуму в связи с тем, что функция потерь невыпукла;

• мы оптимизируем не точную функцию потерь (теоретический риск), а её приближение на обучающей выборке (эмпирический риск) - см. настройку модели.

Но постепенное уменьшение шага обучения улучшает сходимость. Характер его уменьшения называется планом уменьшения шага обучения (learning rate schedule).

Всегда уменьшайте шаг в процессе обучения!

Это касается всех изученных методов оптимизации по мини-батчам объектов: SGD, SGD+momentum, Nesterov momentum. Уменьшение шага также используется и в более продвинутых методах, которые самостоятельно уменьшают шаг, таких как Adagrad, RMSprop, Adam, о которых будет рассказано дальше.

Планы уменьшения шага обучения

Разобъём процесс обучения сети на блоки 0,1,2,...K. Под блоком обычно понимается эпоха (epoch), т.е. полный проход по всем объектам обучающей выборки, но если выборка велика, блоки могут быть и более малые, например, проход по 10.000 объектам выборки. Обозначим текущий блок через $t$, принимающий в течение всего хода обучения значения $0,1,2,...T$.

Используются следующие планы уменьшения шага обучения (learning rate schedule):

• линейный: $\eta = \eta_0 (1-t/T)+\eta_T (t/T)$, $\eta_0>\eta_T>0$;

• полиномиальный: $\eta = \eta_0 / (1+\alpha t)^\beta$, $\alpha>0, \beta\in (0,1)$; обычно $\eta = \eta_0 / \sqrt{1+t}$

• экспоненциальный $\eta = \eta_0 \alpha^t$, $\alpha\in(0,1)$

• косинусный: $\eta = \eta_T+(\eta_0-\eta_T)(1+\cos(\pi t/T))/2$

$\eta_0,\eta_T,\alpha,\beta$ - гиперпараметры, подбираемые по валидационной выборке.

Косинусное уменьшение $\eta$ основано на предположении, что нужно некоторое время сохранять $\eta\approx \eta_0$ в начале обучения и $\eta=\eta_T$ - в конце.

Также часто используется адаптивный план уменьшения шага обучения (adaptive learning rate scheduling, Reduce Learning Rate on Plateau, RLRP), который динамически подстраивает уменьшение шага под характер сходимости. Шаг обучения уменьшается в $\alpha$ раз, если последние $P$ итераций не наблюдалось существенного уменьшения функции потерь (колебания были меньше чем на $\varepsilon$), где $P,\varepsilon$ - гиперпараметры метода.

Разогрев обучения

Не имеет смысла начинать оптимизацию с большим шагом обучения, поскольку вначале веса сети инициализированы случайно. Рекомендуется начинать обучение с некоторым промежуточным значением $\eta$ (не большим и не маленьким), а когда потери стабилизируются уже включать тот или иной план уменьшения шага. Такое начало обучение называется разогревом обучения (warm-up), а число разогревающих итераций называется warm-up period.