📄️ Бустинг
Алгоритм бустинга - основаная идея и особенности реализации метода.
📄️ Сравнение бустинга с другими ансамблями моделей
Сравнение алгоритма бустинга с бэггингом, случайным лесом, стэкингом и другими методами построения ансамблей моделей.
📄️ Алгоритм AdaBoost
Алгоритм AdaBoost, его основные предположения, интуиция и математический вывод. Идея обобщения метода.
📄️ Градиентный бустинг
Идея метода градиентного бустинга (gradient boosting), интуиция метода, алгоритм настройки и пример его работы в случае регрессии и бинарной классификации. Расширение на многоклассовую классификацию.
📄️ Алгоритм градиентного бустинга
Пошаговый алгоритм настройки градиентного бустинга. Особенность реализации градиентного бустинга для решающих деревьев.
📄️ Улучшения градиентного бустинга
Методы повышения точности градиентного бустинга за счёт сжатия (shrinkage) и обучения базовых моделях на подмножествах объектов и признаков (subsampling). Мотивация улучшений и примеры работы.
📄️ Иллюстрация работы
Визуализация работы градиентного бустинга по шагам. Анализ изменения ошибок в зависимости от шага.