Бустинг
Алгоритм бустинга - основаная идея и особенности реализации метода.
Сравнение бустинга с другими ансамблями моделей
Сравнение алгоритма бустинга с бэггингом, случайным лесом, стэкингом и другими методами построения ансамблей моделей.
Алгоритм AdaBoost
Алгоритм AdaBoost, его основные предположения, интуиция и математический вывод. Идея обобщения метода.
Градиентный бустинг
Идея метода градиентного бустинга (gradient boosting), интуиция метода, алгоритм настройки и пример его работы в случае регрессии и бинарной классификации. Расширение на многоклассовую классификацию.
Алгоритм градиентного бустинга
Пошаговый алгоритм настройки градиентного бустинга. Особенность реализации градиентного бустинга для решающих деревьев.
Улучшения градиентного бустинга
Методы повышения точности градиентного бустинга за счёт сжатия (shrinkage) и обучения базовых моделях на подмножествах объектов и признаков (subsampling). Мотивация улучшений и примеры работы.
Иллюстрация работы
Визуализация работы градиентного бустинга по шагам. Анализ изменения ошибок в зависимости от шага.
Градиентный бустинг второго порядка
Градиентный бустинг второго порядка - алгоритм настройки следующей базовой модели градиентного бустинга при квадратичном приближении функции потерь.
Популярные реализации
Продвинутые реализации градиентного бустинга - xgBoost, LightGBM, CatBoost. Основные идеи улучшений.
Алгоритм XGBoost
Модель xgBoost: алгоритм, обучение, возможности библиотеки.
Точность градиентного бустинга
Анализ точности градиентного бустинга. Случаи, когда точнее работают метод K ближайших соседей и линейные модели. Важность использования ансамбля моделей для повышения точности.
Дополнительная литература
Вопросы по методам оценки качества классификации.
Вопросы
Вопросы по градиентному бустингу.