Базовые меры качества многоклассовой классификации
Основные меры для оценки качества классификации. Точность, частота ошибок, матрица ошибок. Взвешенный учёт ошибок разных типов.
Специальные меры качества для бинарной классификации
Специальные меры оценки качества прогнозов в задаче бинарной классификации, precision и recall, F-мера. Задача ранжирования. Меры precision@K, recall@K, Average Precision.
Обобщение бинарных мер качества на многоклассовый случай
Расширение точности и полноты для оценки многоклассовых прогнозов. Микроусреднение и макроусреднение. Мера mean average precision (mAP).
ROC-кривая
Определение ROC-кривой (ROC-curve). Площадь под ROC-кривой AUC (area under curve). Меры true positive rate (TPR), false positive rate (FPR) в бинарной классификации.
Лучший классификатор на ROC кривой
Нахождение наилучшего классификатора на ROC-кривой.
Эквивалентное определение AUC
Эквивалентное определение AUC (area under curve) как доли верно упорядоченных пар объектов. Доказательство эквивалентности. Способ оптимизации AUC градиентными методами оптимизации напрямую.
Контроль качества предсказания вероятностей
Калибровка вероятностей и методы оценки качества вероятностных прогнозов. Мера Бриера (Brier score).
Дополнительная литература
Вопросы по методам оценки качества классификации.
Вопросы
Вопросы по методам оценки качества классификации.