Модель нейрона

Изначально нейронные сети появились как попытка моделировать работу человеческого мозга, который состоит из нейронов, многие из которых связаны друг с другом аксонами - вытянутыми отростками нервных клеток. Каждый нейрон может перейти в возбуждённое состояние, в этом случае он передаёт по аксонам сигнал другим нейронам, с которыми он связан посредством электро-химического взаимодействия.

В простейшем виде биологический нейрон моделируется преобразованием:

$$a=h\left( \sum_{k=0}^K w_{k} a_k \right),$$

где

• $a$ - выход нейрона (что он посылает по аксонам другим нейронам);

• $a_0\equiv 1$ - нейрон, всегда выдающий константу 1;

• $a_1,...a_K$ - нейроны, имеющие входящую связь с рассматриваемым нейроном;

• $w_0,w_1,...w_K$ - веса связей;

  • они показывают, во сколько раз изменяется сигнал, передаваемый нейронами $a_0,a_1,...a_K$ текущему нейрону $a$;

• $h(\cdot)$ - некоторая фиксированная функция активации (activation function).

Геометрически это можно представить следующим образом:

Модель нейрона в машинном обучении

В машинном обучении нейрон можно применять как в задаче регрессии, так и в задаче классификации к $D$-мерному вектору признаков $x=[x^1,x^2,...x^D]$.

Обозначения признаков

Напомним, что, в соответствии с обозначениями книги, признаки обозначаются верхним индексом. $x^i$ - $i$-й признак вектора признаков, а $x_n$ - $n$-й объект обучающей выборки.

В обоих случаях входящими нейронами будут признаки входного вектора $x$ и константa $1$, $K=D$:

$$a_0\equiv 1,\,a_1=x^1,\,a_2=x^2\,...a_{K}=x^D;$$

Таким образом, одиночный нейрон моделирует закономерность

$$y(x)=h\left( w_{0} + \sum_{d=1}^D w_{d} x^d \right),$$

где мы сделали общепринятое переобозначение $w_0=w_{D+1}$, этот параметр называется смещением (bias).

Веса $w_0,w_1,...w_{D}$ представляют собой настраиваемые параметры по данным. В зависимости от того, как выбрать функцию активации, мы сможем решать как задачу регрессии, так и задачу бинарной классификации.

Регрессия

Регрессия получается при выборе $h(u)=u$. Тогда

$$y(x) = w_{0} + \sum_{d=1}^D w_{d} x^d$$

Бинарная классификация

Классификация получается при выборе $h(u)=\sigma(u)=1/(1+e^{-u})$. Сигмоидная функция $\sigma(u)\in (0,1)$, поэтому её можно трактовать как вероятность положительного класса:

$$p(y=+1|x)=\sigma\left( w_{0} + \sum_{d=1}^D w_{d} x^d \right)$$

Тогда вероятность отрицательного класса можно посчитать как

$$p(y=-1|x) = 1 - p(y=+1|x)$$

Получили реализацию бинарной логистической регрессии.