Ансамбли моделей
Понятие ансамблей моделей (model ensemble) в машинном обучении. Мотивация использования ансамблей для борьбы с переобучением, недообучением и в других случаях.
Математическое обоснование ансамблей
Преимущества использования ансамблей моделей. Доказательства, что можно из набора неточных моделей можно построить точный ансамбль для задач регрессии и классификации.
Простая агрегация в ансамблях
Простые cпособы объединения прогнозов в ансамблях моделей. Голосование по большинству, усреднение прогнозов, усреднение рейтингов Бриера.
Методы построения базовых моделей
Способы построения различных базовых моделей для формирования ансамбля моделей (model ensemble).
Настройка на разных фрагментах обучающей выборки
Методы построения ансамблей моделей машинного обучения по подвыборкам из исходной обучающей выборки. Методы bagging, random subspaces, random patches, pasting, cross-validation. Влияние числа базовых моделей на качество прогнозов ансамбля. Оценка Out-of-Bag для определения качества прогнозов ансамблем моделей.
Ансамбли рандомизированных деревьев
Алгоритм случайного леса (random forest) и особо случайных деревьев (extra trees). Описание методов и основные гиперпараметры. Примеры запуска в sklearn.
Стэкинг
Алгоритм стэкинга (stacking) и блендинга (blending) для объединения прогнозов разных моделей в ансамбль. Пример использования стэкинга в sklearn.
Дополнительная литература
Вопросы по методам оценки качества классификации.
Вопросы
Вопросы по построению ансамбля моделей.