Uveďte metriky kvality modelu binárnej klasifikácie a ich rozdiely?

Hlavné metriky kvality binárneho modelu klasifikácie a ich rozdiely:

• Presnosť (Accuracy) — podiel správne klasifikovaných objektov (pozitívnych aj negatívnych). Dobré pri vyvážených triedach.

• Precíznosť (Precision) — podiel skutočných pozitívnych medzi všetkými, ktorých model označil za pozitívne. Dôležité, keď sú falošné pozitívy kritické.

• Zachytávanie (Recall) — podiel skutočných pozitívnych, ktoré model správne identifikoval zo všetkých skutočných pozitívnych. Dôležité, aby sa neprehliadli pozitívne prípady.

• F1-škóre — harmonické priemery Precíznosti a Zachytávania, ktoré ich vyvažuje.

• ROC-AUC — plocha pod ROC krivkou, ukazuje schopnosť modelu rozlišovať medzi triedami pri rôznych prahových hodnotách.

• Log Loss (Logaritmická strata) — mierka kvality pravdepodobnostných predpovedí, trestá sebavedomé, ale nesprávne predpovede.

Výber metriky závisí od úlohy: napríklad v diagnostike chorôb je dôležitý Zachytávanie, aby sa neprehliadli chorí, zatiaľ čo v spame je kľúčová Precíznosť, aby sa nezablokovali normálne e-maily.