Частичное обучение
Частичное обучение (semi-supervised learning) представляет собой промежуточный случай между обучением с учителем (в котором все объекты обучающей выборки размечены) и обучением без учителя (в которой ни один объект не размечен). В частичном обучении часть объектов имеют разметку, а часть - нет, и обучающая выборка имеет следующий вид:
Задача трансдуктивного обучения (transductive learning), в которой заранее известны признаковые описания объектов тестовой выборки (на которой мы хотим применить нашу модель), представляет собой частный случай частичного обучения и к ней могут быть применены такие же подходы.
Упрощенный пример частичного обучения приведён ниже на графике слева для задачи бинарной классификации двумерных объектов, обозначенных квадратами. Изначально в выборке размечено всего два квадрата (в синий и красный класс). Лучшее, что мы можем сделать с этой разметкой - это разделить пространство признаков прямой, равноудалённой от этих двух точек. Однако если мы будем использовать знание о распределении неразмеченных объектов (две концентрических окружности) и предположение о том, что близкие объекты принадлежат одинаковому классу, то мы сможем существенно расширить множество размеченных объектов (график справа), из которого уже естественнее провести границу между классами в форме окружности.
Предположение о том, что близкие объекты должны принадлежать одинаковому классу требует уточнения. Насколько близкие объекты должны иметь одинаковый класс? Насколько разумно делать такое предположение для имеющихся признаков? Возможно, какие-то из них не информативны и никак не связаны с информацией о классе. Это всего лишь предположение, которое может быть и не выполнено. Для его верификации нужна проверка на отдельной валидационной выборке.
Чтобы подходы частичного обучения давали эффект, необходимо, чтобы , что часто выполняется на практике. Разметка обучающей выборки требует привлечения эксперта предметной области, что медленно, дорого и ресурсоёмко, поэтому в большинстве ситуаций мы можем разметить лишь малое число объектов. Однако сами объекты зачастую доступны в больших объёмах. Например, в задаче классификации новостей по темам мы можем привлечь экспертов, чтобы они, прочитывая новости, относили их к нужным темам. Человеческие возможности ограничены и мы не сможем получить слишком большую размеченную выборку. При этом сами новости мы можем скачивать из интернета без ограничений, обеспечив большой объем неразмеченной информации.