Выходы нейросети и функции потерь
В этом разделе обсудим, что будет представлять собой выходной слой (output layer) нейросети для задач регрессии и классификации.
Истинный отклик будем обозначать , который по вектору признаков предсказывается нейросетевым преобразованием , зависящим от вектора весов .
Одномерная регрессия
В одномерной регрессии требуется предсказать одно число (скаляр) . Соответственно, у нейросети будет один нейрон на выходном слое.
-
Если значение прогноза может быть любым, то на выходном слое используется тождественная активация.
-
Если предсказывается неотрицательное значение, то к выходу применяется активация ReLU.
-
Если предсказывается положительное значение, то используется активация SoftPlus.
При прогнозе, который должен принимать значения внутри отрезка , используется активация tangh или hard-tangh.
Что нужно дополнительно сделать если целевая величина ?
Нужно перемасштабировать выход нейросети из отрезка в отрезок :