📄️ Ансамбли моделей
Понятие ансамблей моделей (model ensemble) в машинном обучении. Мотивация использования ансамблей для борьбы с переобучением, недообучением и в других случаях.
📄️ Математическое обоснование ансамблей
Преимущества использования ансамблей моделей. Доказательства, что можно из набора неточных моделей можно построить точный ансамбль для задач регрессии и классификации.
📄️ Простая агрегация в ансамблях
Простые cпособы объединения прогнозов в ансамблях моделей. Голосование по большинству, усреднение прогнозов, усреднение рейтингов Бриера.
📄️ Методы построения базовых моделей
Способы построения различных базовых моделей для формирования ансамбля моделей (model ensemble).
📄️ Настройка на разных фрагментах обучающей выборки
Методы построения ансамблей моделей машинного обучения по подвыборкам из исходной обучающей выборки. Методы bagging, random subspaces, random patches, pasting, cross-validation. Влияние числа базовых моделей на качество прогнозов ансамбля. Оценка Out-of-Bag для определения качества прогнозов ансамблем моделей.
📄️ Ансамбли рандомизированных деревьев
Алгоритм случайного леса (random forest) и особо случайных деревьев (extra trees). Описание методов и основные гиперпараметры. Примеры запуска в sklearn.
📄️ Стэкинг
Алгоритм стэкинга (stacking) и блендинга (blending) для объединения прогнозов разных моделей в ансамбль. Пример использования стэкинга в sklearn.
📄️ Дополнительная литература
Вопросы по методам оценки качества классификации.
📄️ Вопросы
Вопросы по построению ансамбля моделей.