Обобщение бинарных мер качества на многоклассовый случай

Меры качества бинарных классификаторов, рассмотренные в предыдущем разделе, могут быть обобщены на многоклассовый случай $y\in\{1,2,...C\}$ через макроусреднение (macroaveraging) т.е. простое усреднение бинарных мер качества по классам:

$$\text{Precision}_{\text{macro}}=\frac{1}{C}\sum_{c=1}^{C}\frac{TP_{c}}{\widehat{N}_{c}}$$ $$\text{Recall}_{\text{macro}}=\frac{1}{C}\sum_{c=1}^{C}\frac{TP_{c}}{N_{c}}$$

где

• $TP_c$ - количество верных классификаций объектов класса $c$,

• $N_c$ - количество объектов класса $c$,

• $\hat{N}_c$ - количество объектов, предсказанных классом $c$.

Если же считать микроусреднение (microaveraging) этих величин, что получим одно и то же число, равное многоклассовой accuracy:

$$\text{Precision}_{\text{micro}} = \frac{\sum_{c=1}^{C}TP_{c}}{\sum_{c=1}^{C}\widehat{N}_{c}}=\frac{\sum_{c=1}^{C}TP_{c}}{N}$$ $$\text{Recall}_{\text{micro}} = \frac{\sum_{c=1}^{C}TP_{c}}{\sum_{c=1}^{C}N_{c}}=\frac{\sum_{c=1}^{C}TP_{c}}{N}$$

где $N$ - общее число объектов в выборке.

Детальный разбор расчёта этих характеристик с примерами расчёта можно прочитать здесь.

Разница микро и макроусреднения

Макроусреднение усредняет по классам, независимо от их размера. Если мера качества высокая на частотных классах и низкая на редких, то макроусреднение даст низкий результат, в отличие от микроусреднения, которое усредняет по объектам.

Также часто макроусредняют величину средней точности average precision, получая другую известную меру качества mean average precision (mAP):

$$mAP=\frac{1}{C}\sum_{c=1}^C AP_c$$