📄️ Бустинг
Алгоритм бустинга - основа ная идея и особенности реализации метода.
📄️ Сравнение бустинга с другими ансамблями моделей
Сравнение алгоритма бустинга с бэггингом, случайным лесом, стэкингом и другими методами построения ансамблей моделей.
📄️ Алгоритм AdaBoost
Алгоритм AdaBoost, его основные предположения, интуиция и математический вывод. Идея обобщения метода.
📄️ Градиентный бустинг
Идея метода градиентного бустинга (gradient boosting), интуиция метода, алгоритм настройки и пример его работы в случае регрессии и бинарной классификации. Расширение на многоклассовую классификацию.
📄️ Алгоритм градиентного бустинга
Пошаговый алгоритм настройки градиентного бустинга. Особенность реализации градиентного бустинга для решающих деревьев.
📄️ Улучшения градиентного бустинга
Методы повышения точности градиентного бустинга за счёт сжатия (shrinkage) и обучения базовых моделях на подмножествах объектов и признаков (subsampling). Мотивация улучшений и примеры работы.
📄️ Иллюстрация работы
Визуализация работы градиентного бустинга по шагам. Анализ изменения ошибок в зависимости от шага.
📄️ Градиентный бустинг второго порядка
Градиентный бустинг второго порядка - алгоритм настройки следующей базовой модели градиентного бустинга при квадратичном приближении функции потерь.
📄️ Популярные реализации
Продвинутые реализации градиентного бустинга - xgBoost, LightGBM, CatBoost. Основные идеи улучшений.
📄️ Точность градиентного бустинга
Анализ точности градиентного бустинга. Случаи, когда точнее работают метод K ближайших соседей и линейные модели. Важность использования ансамбля моделей для повышения точности.
📄️ Вопросы
Вопросы по градиентному бустингу.