Обозначения в учебнике

Специальная терминология

• Отклик - целевая величина, которую мы предсказываем.

• Признак - известное свойство объекта, для которого строится прогноз.

• Вектор признаков - все известные свойства, записанные в виде вектора.

• Модель - функция, отображающая вектор признаков в прогнозное значение отклика по некоторому правилу.

• Параметры модели - параметры, от которых зависит модель и настраиваемые по обучающей выборке. Называются также весами модели.

• Гиперпараметры модели - параметры, от которых зависит модель и выбираемые пользователем либо подбираемые по отдельной валидационной выборке.

• Алгоритм - то же, что и модель, но с настроенными параметрами.

• Сложность модели в учебнике обозначает выразительную гибкость или способность модели подстраиваться под обучающие данные. Если рассматривается модель с низкой сложностью, то такая модель называется простой. Не путать с вычислительной сложностью/простотой, относящейся к числу элементарных операций, необходимых для вычисления функции.

Скаляры, векторы и матрицы

• Векторы всегда обозначают векторы-столбцы (а не строки), и обозначаются строчными буквами, такими как $x$ или $\mathbf{x}$. Скалярные значения (числа) обозначаются только строчными буквами, как $w_0$.

• Матрицы обозначаются заглавными буквами, такими как $A$.

• $A\succcurlyeq0$ - неотрицательно определенная матрица $A$.

Специальные символы

• $\mathbb{R}^D$ - $D$-мерный вектор. В записи $x\in\mathbb{R}^D$ означает, что $x$ принадлежит множеству $D$-мерных векторов, т.е. является $D$-мерным вектором.

• $\forall$ = для любого, например, условие, что синус никогда не превосходит единицу записывается как $\sin(x)\le 1 \;\forall x$.

• $D$ - общее число признаков, называемое также размерностью признакового пространства.

• $\mathbf{x}\in \mathbb{R}^D$ - вектор признаков, иногда обозначаемый как $x$ (при описании нейросетей это может быть тензором, описывающим объект, например, изображение или его внутреннее представление).

• $\mathbf{x}_i$ - $i$-й объект выборки ($D$-мерный вектор).

• $x^j$ - $j$-й признак вектора признаков $\mathbf{x}$ (скаляр, т.е. число).

• $y$ - истинное значение отклика или целевой переменной, которую мы предсказываем (при описании нейросетей это также может обозначать выход отдельного блока).

• $\hat{y}$ - предсказанное значение отклика алгоритмом.

• $\mathbf{w}$ - вектор всех настраиваемых параметров модели по обучающей выборке, называемых также весами модели (в контексте обработки текста $w$ может обозначать слово).

• $w_i$ - отдельный параметр модели (в контексте обработки текста $w_i$ может обозначать $i$-ое слово).

• $\hat{\mathbf{w}}$ - оценка вектора параметров.

• $N$ - число объектов в обучающей выборке.

• $X\in\mathbb{R}^{N \times D}$ - матрица "объекты-признаки", называемая также матрицей признаков (feature matrix), в которой каждая строка - вектор признаков соответствующего объекта выборки наблюдений. Значения признака для разных объектов идет в соответствующем столбце этой матрицы (в контексте нейросетей это также может быть входная информация об известных объектах в любом, не только векторном, виде).

• $Y\in\mathbb{R}^{N}$ - вектор откликов (желаемых ответов алгоритма), представляющий собой вектор вещественных значений для задачи регрессии и категориальный вектор для задачи классификации (в контексте нейросетей это также может быть информация об ожидаемых откликах в любом, не только вещественном, виде).

• $C$ - число классов в классификации.

• Классы обозначаются цифрами $1,2,...C$ в многоклассовой классификации и -1,+1 в бинарной классификации (на два класса).

• $\mathcal{L}(\hat{y},y)$ - функция потерь на одном объекте.

• $L(\mathbf{w})=\frac{1}{N}\sum_{n=1}^{N}\mathcal{L}(\hat{y}_n,y_{n})$ - средние потери на обучающей выборке (эмпирический риск).

Специальные функции

• $\#[\cdot]$ - число элементов, например,

  • #[объектов] = число объектов,

  • #[признаков] = число признаков

• $[z]_{+}=\max\{z,0\}$ - оператор положительной срезки (оставление неотрицательного значения и зануление отрицательного)

• $\mathbb{I}[\text{условие}]=\begin{cases} 1, & \text{если условие выполнено}\\ 0, & \text{если условие не выполнено} \end{cases}$

• $\text{sign}(x)=\begin{cases} 1, & x\ge0\\ -1, & x<0 \end{cases}$

Описание алгоритмов

• := означает "присвоить значение". Например, присвоение переменной $t$ значения ноль записывается в виде $t:=0$.

• Асимптотическая сложность алгоритмов обозначается как $O(\cdot)$. Например, сложность увеличения всех элементов $n$-мерного вектора на единицу равна $O(n)$, а асимптотическая сложность увеличения на единицу всех элементов матрицы $n \times n$ - $O(n^2)$.