📄️ Базовые меры качества многоклассовой классификац ии
Основные меры для оценки качества классификации. Точность, частота ошибок, матрица ошибок. Взвешенный учёт ошибок разных типов.
📄️ Специальные меры качества для бинарной классификации
Специальные меры оценки качества прогнозов в задаче бинарной классификации, precision и recall, F-мера. Задача ранжирования. Меры precision@K, recall@K, Average Precision.
📄️ Обобщение бинарных мер качества на многоклассовый случай
Расширение точности и полноты для оценки многоклассовых прогнозов. Микроусреднение и макроусреднение. Мера mean average precision (mAP).
📄️ ROC-кривая
Определение ROC-кривой (ROC-curve). Площадь под ROC-кривой AUC (area under curve). Меры true positive rate (TPR), false positive rate (FPR) в бинарной классификации.
📄️ Лучший классификатор на ROC кривой
Нахождение наилучшего классификатора на ROC-кривой.
📄️ Эквивалентное определение AUC
Эквивалентное определение AUC (area under curve) как доли верно упорядоченных пар объектов. Доказательство эквивалентности. Способ оптимизации AUC градиентными методами оптимизации напрямую.
📄️ Контроль качества предсказания вероятностей
Калибровка вероятностей и методы оценки качества вероятностных прогнозов. Мера Бриера (Brier score).
📄️ Дополнительная литература
Вопросы по методам оценки качества классификации.
📄️ Вопросы
Вопросы по методам оценки качества классификации.