Решающие деревья
Алгоритм решающих деревьев (decision trees) в задачах прогнозирования. CART, С4.5, ID3. Пример решающего дерева. Связь с правиловыми алгоритмами (rule induction).
Особенности прогнозов решающ его дерева
Особенности прогнозов решающими деревьями в задачах классификации и регрессии. Взаимное дополнение решающих деревьев и линейных моделей.
Настройка решающего дерева
Алгоритм настройки решающего дерева (decision tree fitting). Выбор решающих правил во внутренних узлах и назначение прогноза в листовых вершинах дерева.
Функции неопределённости
Функции неопределённости (impurity functions) для настройки решающих деревьев. Их мотивация и свойства. Критерий Джини, энтропийный критерий и критерий классификационной ошибки.
Учёт пользовательской функции потерь
Обоснование функций неопределённости (impurity functions) при настройке решающего дерева как минимизаторов потерь определённого вида. Обоснования для дисперсии, среднего абсолютного отклонения, классификационной ошибки, критерия Джини и энтропийного критерия. Случай пользовательской функции потерь.
Обрезка решающих деревьев
Методы обрезки решающих деревьев (tree pruning) для повышения качества прогнозов решающих деревьев. Метод обрезки по минимальной цене (minimal cost-complexity pruning).
Обработка пропущенных значений
Методы заполнения пропущенных значений признаков в алгоритме решающего дерева.
Важность признаков
Оценка важности признаков (feature importance), используя решающее дерево - метод mean decrease in impurity.
Анализ решающих деревьев
Преимущества и недостатки решающих деревьев (decision trees) в машинном обучении.
Обобщения решающих деревьев
Обобщения и усложнения алгоритма решающих деревьев (decision trees).
Дополнительная литература
Вопросы по методам оценки качества классификации.
Вопросы
Вопросы по решающим деревьям.