Обозначения в учебнике

Специальная терминология

• Отклик - целевая величина, которую мы предсказываем.

• Признак - известное свойство объекта, для которого строится прогноз.

• Вектор признаков - все известные свойства, записанные в виде вектора.

• Модель - функция, отображающее вектор признаков в прогнозное значение отклика по некоторому правилу.

• Алгоритм - то же, что и модель, но с настроенными параметрами.

• Сложность модели в учебнике обозначает выразительную гибкость или способность модели подстраиваться под обучающие данные. Если рассматривается модель с низкой сложностью, то такая модель называется простой. Не путать с вычислительной сложностью/простотой, относящейся к числу элементарных операций, необходимых для вычисления функции.

Скаляры, векторы и матрицы

• Векторы всегда обозначают векторы-столбцы (а не строки), и обозначаются строчными буквами, такими как $x$ или $\mathbf{x}$. Скалярные значения (числа) обозначаются только строчными буквами, как $w_0$.

• Матрицы обозначаются заглавными буквами, такими как $A$.

• $A\succcurlyeq0$ - неотрицательно определенная матрица $A$.

Специальные символы

• $\mathbb{R}^D$ - $D$-мерный вектор. В записи $x\in\mathbb{R}^D$ означает, что $x$ принадлежит множеству $D$-мерных векторов, т.е. является $D$-мерным вектором.

• $\forall$ = для любого, например, условие, что синус никогда не превосходит единицу записывается как $\sin(x)\le 1 \;\forall x$.

• $\mathbf{x}\in \mathbb{R}^D$ - вектор признаков, иногда обозначаемый как $x$.

• $\mathbf{x}_i$ - $i$-й объект выборки.

• $x^j$ - $j$-й признак вектора признаков $\mathbf{x}$.

• $D$ - общее число признаков, называемое также размерностью признакового пространства

• $y$ - истинное значение отклика или целевой переменной, которую мы предсказываем.

• $\hat{y}$ - предсказанное значение отклика алгоритмом.

• $N$ - число объектов в обучающей выборке

• $X\in\mathbb{R}^{N \times D}$ - матрица объекты-признаки, в которой каждая строка - вектор признаков соответствующего объекта выборки наблюдений. Значения признака для разных объектов идет в соответствующем столбце этой матрицы.

• $Y\in\mathbb{R}^{N}$ - вектор откликов (желаемых ответов алгоритма), представляющий собой вектор вещественных значений для задачи регрессии и категориальный вектор для задачи классификации.

• $C$ - число классов в классификации.

• Классы обозначаются цифрами $1,2,...C$ в многоклассовой классификации и -1,+1 в бинарной классификации (на два класса).

• $\mathbf{w}$ - вектор параметров модели, настраиваемый по обучающей выборке. Иногда обозначается как $w$.

• $\hat{\mathbf{w}}$ - оценка вектора параметров. Иногда обозначается $\hat{w}$.

• $\mathcal{L}(\hat{y},y)$ - функция потерь на одном объекте.

• $L(\mathbf{w})=\frac{1}{N}\sum_{n=1}^{N}\mathcal{L}(\hat{y}_n,y_{n})$ - средние потери на обучающей выборке (эмпирический риск).

Специальные функции

• $\#[\cdot]$ - число элементов, например,

  • #[объектов] = число объектов,

  • #[признаков] = число признаков

• $[z]_{+}=\max\{z,0\}$ - оператор положительной срезки (оставление неотрицательного значения и зануление отрицательного)

• $\mathbb{I}[\text{условие}]=\begin{cases} 1, & \text{если условие выполнено}\\ 0, & \text{если условие не выполнено} \end{cases}$

• $sign(x)=\begin{cases} 1, & x\ge0\\ -1, & x<0 \end{cases}$

Описание алгоритмов

• := означает "присвоить значение". Например, присвоение переменной $t$ значения ноль записывается в виде $t:=0$.

• Асимпотитческая сложность алгоритмов обозначается как $O(\cdot)$. Например, сложность увеличения всех элементов $n$-мерного вектора на единицу равна $O(n)$, а асимптотическая сложность увеличения на единицу всех элементов матрицы $n \times n$ - $O(n^2)$.