Функции активации

Рассмотрим популярные функции активации $h(u)$, использующиеся в нейросетях.

Тождественная функция активации (identity)

$$h(u)=u$$

Эта активация используется в выходном слое, чтобы моделировать регрессионный выход. В скрытых слоях почти не используется, т.к. суперпозиция линейных функций приводит к линейной функции.

Сигмоидная функция активации (sigmoid)

$$h(u)=\sigma(u)=\frac{1}{1+e^{-u}}$$

Принимает значения $h(u)\in(0,1)$ и используется в выходном слое нейронной сети для решения задачи бинарной классификации, предсказывая вероятность положительного класса $p(y=+1|\mathbf{x})$.

В скрытых слоях почти не используется, поскольку за пределами интервала $(-3,3)$ выходит на горизонтальные асимптоты -1 и +1, почти не меняясь, в результате чего её градиент близок к нулю. Поскольку нейросети оптимизируются численными методами, используя градиент, это приводит к медленной настройке сети и даже застреванию сигмоидных активаций в районе значений $\pm 1$.

Гиперболический тангенс (tangh)

$$h(u)=\text{tangh}(u)=\frac{e^{u}-e^{-u}}{e^{u}+e^{-u}}=2\sigma(2u)-1$$

С точностью до линейного сжатия и сдвига совпадает с сигмоидной функцией активации, но, в отличие от неё, является нечётной функцией:

$$\text{tangh}(-u)=-\text{tangh}(u),$$

что даёт преимущество при инициализации и настройке нейросети за счёт того, что если признаки - случайные величины, центрированные вокруг нуля, то образованные от них активации также будут центрированными вокруг нуля, а также активации от активаций и так далее по всем слоям нейросети, т.е. по ходу вычислений не будет происходить систематического смещения в ту или иную сторону.

Тем не менее, гиперболический тангенс используется в основном только в выходных регрессионных слоях, где есть ограничение на выход и снизу, и сверху, например, где нужно генерировать степень поворота руля $[-1,1]$, чтобы оптимально объехать препятствие.

В скрытых слоях он практически не используется, поскольку обладает тем же недостатком, что и сигмоида: за пределами интервала $(-3,3)$ выходит на горизонтальные асимптоты -1 и +1 и почти не изменяется, из-за чего градиент по активации становится близким к нулю, и сеть начинает слишком медленно настраиваться.

Плавная функция знака (SoftSign)

$$h(u) = \frac{u}{1+|u|}$$

SoftSign-активация идейно повторяет tangh-активацию, но имеет характер приближения к асимптотам +1 и -1 полиномиальный, а не экспоненциальный. Т.е. на константные значения $\pm 1$ функция выходит медленнее, что улучшает сходимость при настройке сети. Также SoftSign-активация вычисляется быстрее, чем tangh. Тем не менее, из-за наличия горизонтальных асимптот в скрытых слоях используется редко.

Жёсткий гиперболический тангенс (hard tangh)

$$h(u)=\max\{-1;\min\{u;+1\}\}$$

Используется так же, как и обычный гиперболический тангенс, но гораздо быстрее вычисляется за счёт ещё более простых операций. Вычисление получается более точным и устойчивым, что актуально при использовании низкобитных представлений чисел (float16, int8) при построении компактных нейросетей для мобильных устройств.

SoftPlus

$$h(u)=\ln (1+e^u)$$

Имеет нетривиальный градиент уже на полуоси $u\ge -3$, за счёт чего используется в скрытых слоях. Также используется и в выходных слоях, где нужно предсказывать регрессионный отклик, который должен быть неотрицательным (например, когда предсказываем время до наступления некоторого события, зная, что оно ещё не наступило).

Rectified linear unit (ReLU)

$$h(u) = \max\{0;u\}$$

Имеет нетривиальный градиент +1 на полуоси $u>0$ , за счёт чего используется как в скрытых слоях, так и в выходных слоях, где нужно предсказывать неотрицательный регрессионный отклик.

Идейно повторяя SoftPlus-активацию, вычисляется гораздо быстрее и устойчивее при низкобитных представлениях чисел в облегчённых нейросетевых моделях. Одна из самых популярных функций активации.

ReLU обладает тем недостатком, что зануляет отрицательные значения, в результате чего, если нейрону приходят только отрицательные значения, то он расходует вычисления, но выдаёт тождественный ноль (dead neuron).

Формально, в нуле градиент этой функции активации не определён. Однако это не приводит к проблемам на практике, так как при случайной инициализации весов и случайных значениях признаков значение, в точности равное нулю, в общем случае не реализуется.

Leaky rectified linear unit (Leaky ReLU)

$$h(u)=\max\{ \alpha u; u \},\; \alpha\in (0,1) - \text{гиперпараметр}$$

Обладает всеми достоинствами ReLU-активации, но помимо этого имеет нетривиальный градиент $\alpha\in(0,1)$ и в отрицательной области, за счёт чего нейрон всегда выдаёт нетривиальные значения, а не вырождается в константу. Рекомендуется к использованию как наилучший вариант.

В классическом LeakyReLU $\alpha=0.01$, хотя можно использовать и другие значения и даже настраивать его как параметр вместе с остальными весами нейросети.