📄️ Базовые меры качества многоклассовой клас сификации
Основные меры качества классификации. Точность, частота ошибок, матрица ошибок. Их взаимосвязь друг с другом. Взвешенный учёт ошибок разных типов.
📄️ Специальные меры качества для бинарной классификации
Методы оценки качества прогнозов в задаче бинарной классификации. Precision и recall, F-мера. Задача ранжирования. Меры precision@K, recall@K, Average Precision. Сценарии использования разных мер качества.
📄️ Обобщение бинарных мер качества на многоклассовый случай
Расширение методов оценки качества прогнозов бинарной классификации на многоклассовый случай. Микро и макроусреднение. Мера mean average precision (mAP).
📄️ ROC-кривая
Определение ROC-кривой (ROC-curve, receiver operating characteristic) в машинном обучении. Меры true positive rate (TPR), false positive rate (FPR) и AUC (area under curve).
📄️ Построение ROC-кривой по данным
Алгоритм построения ROC-кривой по выборке наблюдений. Пример работы алгоритма.
📄️ Лучший классификатор на ROC кривой
Нахождение наилучшего классификатора на ROC-кривой.
📄️ Площадь под ROC-кривой (AUC)
Эквивалентное определение AUC (area under curve) как доли верно упорядоченных пар объектов. Доказательство эквивалентности. Способ оптимизации AUC градиентными методами оптимизации напрямую.
📄️ Контроль качества предсказания вероятностей
Калибровка вероятностей и методы оценки качества вероятностных прогнозов. Мера Бриера (Brier score).