Обучение без учителя

Обучение без учителя (unsupervised learning) представляет собой задачу, в которой по вектору признаков $\mathbf{x}$ требуется предсказать некоторые отклики $y$, однако обучающая выборка состоит только из признаковых описаний для набора объектов:

$$\mathbf{x}_1,\mathbf{x}_2,...\mathbf{x}_N.$$

Поскольку разметка для объектов отсутствует, то в качестве функции потерь выступает не эмпирический риск, а некоторая вручную подобранная эвристика, характеризующая желаемый результат. При этом выбор целевой эвристики существенно влияет на прогнозы модели.

Обычно в задачах обучения без учителя прогнозы строятся только для исходной выборки, однако могут возникать задачи, где требуется применение полученной модели и для новых объектов.

Рассмотрим примеры таких задач.

Кластеризация

В кластеризации (clustering) необходимо разбить объекты на группы (называемые кластерами) так, чтобы объекты, попавшие в одну группу были метрически похожими (расстояние между ними было небольшим), а объекты, попавшие в разные группы - метрически непохожими (удалёнными друг от друга). Ниже приведён пример кластеризации в двумерном признаковом пространстве $(x^1,x^2)$, где первый признак отложен вдоль оси X, а второй - вдоль оси Y. Объекты обучающей выборки показаны на графике слева. Поскольку выборка не размечена, то все точки обозначены чёрным цветом. В результате применения алгоритма кластеризации (график справа) объекты разбиваются на три кластера (красный, зеленый, синий) так, что объекты из одинакового кластера похожи, а из разных - нет.

Алгоритмы кластеризации используются, например, когда необходимо разбить клиентов компании на отдельные группы со похожими характеристиками. Или необходимо разбить книги электронной библиотеки на категории по сходству их содержания. Также кластеризация применяется для генерации нового признака объекта (номер кластера, расстояние от объекта до центра его кластера) для повышения качества решения других задач обучения с учителем. При этом число кластеров может быть известно заранее или определяться автоматически.

Детекция аномалий

Поступающие на обработку объекты имеют некоторое распределение. Большинство объектов типичны (имеют высокую вероятность, согласно распределению объектов), но некоторые объекты могут оказаться нетипичными (и иметь малую вероятность). Такие объекты лежат далеко от других объектов выборки. Выявление подобных нетипичных объектов называется обнаружением аномалий (anomaly detection) или детекцией выбросов (outlier detection).

Ниже приведён пример работы алгоритма по детекции выбросов в выборке, регулярные объекты которой помечены белым, а выбросы - красным.

Выбросы обычно получаются в результате ошибок измерения. Например, операционист при вводе информации о клиенте мог вбить лишнюю цифру, либо измеряющий сенсор мог испортиться и записать неверную информацию. В таких случаях детекция выбросов представляет собой важный этап предобработки данных - перед настройкой модели важно обнаружить все выбросы и исключить их из обучающей выборки, чтобы они не привели к смещению прогнозов модели. По смыслу - это задача обучения без учителя, поскольку невозможно заранее описать все типы ошибок.

Однако также бывает, что выбросы соответствуют реально существующим объектам в природе, которые требуют специальной обработки. Например, если каждый объект - вектор параметров работы станка (температура, потребление электричества, число оборотов двигателя и т.д.), снимаемых каждую минуту, то наблюдение-выброс может соответствовать ситуации, когда станок входит в опасный режим работы(например, из-за короткого замыкания в сети, пожара, перегрузки), что чреватого поломкой. И своевременное обнаружение позволит остановить работу станка досрочно, уменьшив размер ущерба. Здесь мы также сталкиваемся с задачей обучения без учителя, поскольку невозможно заранее описать все виды поломок и неправильных режимов работы.

Снижение размерности

Задача снижения размерности (dimensionality reduction) заключается в том, чтобы представить исходные многомерные объекты $\{\mathbf{x}_1,\mathbf{x}_2,...\mathbf{x}_N\}$, лежащие в многомерном пространстве $\mathbb{R}^D$ , в маломерные векторы $\mathbf{y}_1,\mathbf{y}_2,...\mathbf{y}_N$ из пространства $\mathbb{R}^d$, где $d<D$. Это отображение должно сохранять геометрические свойства исходных объектов - если исходные объекты $\mathbf{x},\mathbf{x}'$ были близки, то и их образы $\mathbf{y},\mathbf{y}'$ также должны быть близки и наоборот - если $\mathbf{x},\mathbf{x}'$ были далеки, то и их образы $\mathbf{y},\mathbf{y}'$ тоже должны быть далеки друг от друга. По сути, снижение размерности переводит исходные, возможно избыточные, признаковые представления объектов в новые компактные признаковые представления без дублирования информации. Пример снижения размерности из 3-х мерного в 2-мерное пространство приведён ниже, где цвет обозначает множества похожих объектов (изначально не задан).

Поиск ассоциативных правил

Часто входные данные представляют собой наборы элементов. Например, в магазине покупатели чаще всего покупают не один, а набор товаров, пробитых в одном чеке. Пример совместно купленных товаров показан в таблице:

номер чека	набор купленных товаров
1	хлеб, сыр, масло
2	ветчина, масло, хлеб
3	кофе, печенье, сливки
4	хлеб, бекон, джем
5	чай, кофе, сливки, сахар
6	масло, яйца, хлеб
7	кофе, конфеты, сливки

Анализируя чеки, можно автоматически искать множества совместно покупаемых товаров и извлекать правила вида:

• если покупатель купил хлеб, то, скорее всего, он купит и молоко

• если покупатель купил кофе, то, скорее всего, он купит сливки

• и т.д.

Условие срабатывания правила, а также предсказываемый правилом результат могут состоять и из нескольких товаров.

Автоматическое извлечение подобных правил из наборов элементов называется поиском ассоциативных правил (association rule mining). Наборы элементов могут быть как неупорядоченными множествами (при анализе чеков в магазине), так и упорядоченными - например, при анализе последовательности посещённых веб-страниц на сайте.