Выходы нейросети и функции потерь

В этом разделе обсудим, что будет представлять собой выходной слой (output layer) нейросети для различных задач регрессии и классификации.

Истинный отклик будем обозначать $y$, который по вектору признаков $x$ предсказывается нейросетевым преобразованием $f(x)$, зависящим от вектора весов $w$.

Одномерная регрессия

В одномерной регрессии требуется предсказать одно число (скаляр) $y$. Соответственно у нейросети будет один нейрон на выходном слое.

Если значение прогноза может быть любым, то на выходном слое используется тождественная активация.

Если предсказывается неотрицательное значение, то используется активация ReLU.

Если предсказывается положительное значение, то используется активация SoftPlus.

При прогнозе, который не должен принимать значения вне отрезка $[-1,+1]$ используется активация tangh или hard-tangh.

Что нужно дополнительно сделать если целевая величина $y\in[a,b]$?

Нужно перемасштабировать выход нейросети из отрезка $[-1,1]$:

$$f(x)\longrightarrow a+(b-a)\frac{f(x)+1}{2}$$

В качестве функции потерь, по которой мы будем настраивать веса, можно использовать любую дифференцируемую функцию, поскольку нейросети настраиваются градиентными методами оптимизациями, которые вычисляют градиент прогностической функции по весам $\nabla_wf(x)$.

Например, можно взять квадрат ошибки:

$$\mathcal{L}(f(x),y)=(f(x)-y)^2$$

или модуль ошибки:

$$\mathcal{L}(f(x),y)=|f(x)-y|.$$

Для набора объектов минимизируется среднее значение этих функций потерь по объектам. Среднее по квадратам отклонений называется mean squared error или MSE -оценкой. Среднее по модулям отклонений называется mean absolute error или MAE-оценкой.

Векторная регрессия

Если требуется решить задачу векторной регрессии, т.е. предсказывать не одно вещественное число, а сразу вектор $y\in\mathbb{R}^K$, то нужно задать архитектуру сети так, чтобы у неё было $K$ выходов.

Чем это лучше, чем делать K независимых прогнозов различными нейросетями для вектора из K откликов?

Если прогнозируемые величины связаны, например, когда предсказываем цены набора акций на следующий день (которые зависят от общих макроэкономических показателей), то эффективнее прогнозировать их одной нейросетью с K выходами:

• на этапе обучения это приведёт к переиспользованию промежуточных признаков (активаций внутренних слоёв), настроенных для одного отклика другими откликами и наоборот, в результате чего промежуточные признаки настроятся лучше, и модель будет работать точнее;

• кроме того, это вычислительно эффективнее, поскольку не придётся перевычислять всю последовательность промежуточных признаков много раз для каждой отдельной модели.

Аналогично одномерной регрессии, для настройки весов можно использовать любую дифференцируемую функцию, например квадрат $L_2$ нормы расхождения:

$$\mathcal{L}(f(x),y)=||f(x)-y||^2_2$$

либо $L_1$ норму расхождения между прогнозом и фактическим значением:

$$\mathcal{L}(f(x),y)=||f(x)-y||_1$$

Для набора объектов также минимизируется среднее значение этих функций потерь по объектам.

Бинарная классификация

Для бинарной классификации $y\in\{+1,-1\}$ выходной слой содержит один выход с сигмоидной функцией активации, которая принимает значения на интервале $(0,1)$, а её выход интерпретируется как вероятность положительного класса:

$$f(x)=p(y=+1|x).$$

Вероятность отрицательного класса считается как

$$p(y=-1|x)=1-p(y=+1|x)=1-f(x).$$

Настройка архитектуры производится методом максимального правдоподобия (максимизация вероятности пронаблюдать фактические отклики в обучающей выборке):

$$P(y_1,...y_N|x_1,...x_N)=\prod_{n=1}^N p(y_n|x_n)\to\max_w, \tag{1}$$

где $N$ - число объектов выборки, а вероятность всех откликов факторизуется (представляется в виде произведения вероятностей) при предположении, что наблюдения отдельных объектов независимы.

Максимизация (1) численно неудобна (приходится перемножать много малых чисел, за счёт чего быстро сходимся к машинному нулю), поэтому на практике максимизируют логарифм правдоподобия:

$$\ln P(y_1,...y_N|x_1,...x_N)=\sum_{n=1}^N \ln p(y_n|x_n)\to\max_w, \tag{2}$$

Поскольку в машинном и глубоком обучении принято минимизировать функцию потерь, то в терминах функции потерь (2) записывается как

$$-\ln P(y_1,...y_N|x_1,...x_N)=-\sum_{n=1}^N \ln p(y_n|x_n)\to\min_w, \tag{3}$$

при этом чаще минимизируют не сумму, а среднее минус логарифмов вероятностей.

Почему неважно, минимизировать сумму или среднее?

Если интересует оптимальное значение весов $\hat{w}$, то минимизируемый критерий L(w) можно домножать на любую положительную константу $\alpha>0$ (в частности, $\alpha=1/N$) - всё равно минимум будет достигаться в одной и той же точке $\hat{w}$.

Более того, к минимизируемому критерию можно применять любую монотонно возрастающую функцию $G:\, L(w)\to G(L(w))$, чем мы и пользовались, когда заменили максимизацию вероятностей в (1) максимизацией логарифма вероятностей в (2). Это не окажет влияние на оптимальные веса $\hat{w}$, хотя, конечно, повлияет на само значение критерия. Но в настройке нейросетей нас интересует не сам критерий, а только веса, которые его минимизируют.

Тогда функция потерь для единственного объекта будет так называемой кросс-энтропийной функцией потерь (cross-entropy loss) и запишется как

$$\begin{align*} \mathcal{L}(f(x),y)&=-\ln p(y|x)\\ &=-\mathbb{I}\{y=+1\}\ln f(x)-\mathbb{I}\{y=-1\}\ln (1-f(x)), \end{align*}$$

где $\mathbb{I}\{\cdot\}$ - индикатор условия:

$$\mathbb{I}\{\text{условие}\}=\begin{cases} 1, \text{ если условие выполнено,} \\ 0, \text{ если условие не выполнено.} \end{cases}$$

Рейтинг класса вместо вероятности.

Допускается трактовать выход нейросети и как ненормированный рейтинг класса, а не его вероятность. В этом случае на выходном слое действует тождественная активация, а сама нейросеть настраивается, используя одну из функций потерь, штрафующих неправильный рейтинг, например функцию потерь hinge:

$$\mathcal{L}(f(x),y) = \max\{0, \alpha-yf(x)\};\;\alpha>0 - \text{гиперпараметр, обычно равный 1.}$$

Многоклассовая классификация

В многоклассовой классификации отклик $y\in\{1,2,...C\}$, т.е. принимает одно из $C$ дискретных значений. В этом случае на выходном слое нейросети создают $C$ выходов $f_1(x),....f_C(x)$, к которым применяют SoftMax-преобразование, с которым мы уже встречались в логистической регрессии, для того, чтобы получить вероятности классов:

$$\begin{align*} & p(y=1|x) = \frac{e^{f_1(x)/T}}{\sum_{c=1}^C e^{f_c(x)/T}}, \\ & p(y=2|x) = \frac{e^{f_2(x)/T}}{\sum_{c=1}^C e^{f_c(x)/T}}, \\ & \cdots \; \cdots \; \cdots\\ & p(y=C|x) = \frac{e^{f_C(x)/T}}{\sum_{c=1}^C e^{f_c(x)/T}}, \\ \end{align*}$$

при этом параметр температуры $T$ SoftMax-преобразования полагают равным единице.

Почему можно брать $T=1$?

Параметр $T$ отвечает за общий масштаб значений $f_1(x),...f_C(x)$, которые и так автоматически настраивается, причём независимо для каждого рейтинга $f_1(x),...f_C(x)$ за счёт выбора весов нейросети с последнего слоя.

От какого вида преобразований $f_1(x), ... , f_C(x)$ SoftMax-вероятности не меняются?

Формулы расчёта вероятностей через SoftMax инварианты к сдвигу на общую функцию $g(x)$:

$$f_1(x), ... , f_C(x) \longrightarrow f_1(x)+g(x), .... , f_C(x)+g(x)$$

Избавиться от этой неоднозначности можно введя регуляризатор, штрафующий абсолютные величины $f_1(x), ... , f_C(x)$.

Как только получены вероятности классов, производить настройку нейросети можно тем же методом максимального правдоподобия, что и в случае бинарной классификации. Функция потерь для отдельного объекта также называется кросс-энтропийной функцией потерь и будет вычисляться по формуле:

$$\begin{align*} \mathcal{L}(f(x),y)&=-\ln p(y|x)\\ &=-\sum_{c=1}^C\mathbb{I}\{y=c\}\ln f_c(x) \end{align*}$$

Рейтинг класса вместо вероятности.

Как и в бинарном случае, допускается трактовать выход нейросети как ненормированный рейтинг класса, а не его вероятность. В этом случае на выходном слое действуют тождественные активации, но необходимо придумать обобщение функции потерь на многоклассовый случай.

Примеры обобщения для функции потерь hinge:

$$\begin{align*} hinge_{1}(x,y)&=\left[\max_{c\ne y}f_{c}\left(x\right)+\alpha-f_{y}\left(x\right)\right]_{+} \\ hinge_{2}(x,y)&=\sum_{c\ne y}\left[f_{c}\left(x\right)+\alpha-f_{y}\left(x\right)\right]_{+} \end{align*}$$

где $\alpha>0$ - гиперпараметр, а $[\cdot]_+$ - оператор положительной срезки.