Išvardykite dvejetainės klasifikacijos modelio kokybės matricas ir jų skirtumus?

Pagrindiniai dvejetainės klasifikacijos modelio kokybės rodikliai ir jų skirtumai:

• Tikslumas (Accuracy) — teisingai klasifikuotų objektų dalis (ir teigiamų, ir neigiamų). Gerai, kai klasės yra subalansuotos.

• Tikslumas (Precision) — teigiamų prognozių tarp visų, kuriuos modelis nurodė kaip teigiamus, dalis. Svarbu, kai klaidingi teigiami yra kritiški.

• Atkūrimas (Recall) — tikrųjų teigiamų dalis, kurias modelis teisingai nustatė iš visų tikrųjų teigiamų. Svarbu, kad nepražiūrėtume teigiamų atvejų.

• F1 balas — harmoninis Precision ir Recall vidurkis, kuris juos subalansuoja.

• ROC-AUC — plotas po ROC kreive, rodo modelio gebėjimą atskirti klases skirtinguose slenksčiuose.

• Log Loss (Logaritminė nuostoliai) — matas, kaip gerai veikia tikimybinės prognozės, baudžia už pasitikėjimą savimi, bet klaidingas prognozes.

Metrikos pasirinkimas priklauso nuo užduoties: pavyzdžiui, medicininėje diagnozėje svarbus yra Recall, kad nepražiūrėtume sergančiųjų, o spam'e — Precision, kad neblokuotume normalių laiškų.