Sobes.tech
Middle

Kokia bus ROC-AUC metrikos reikšmė klasifikatoriui, kuris visada duoda 0,9 vertę duomenų rinkinyje, sudarytame iš 90 teigiamų ir 10 neigiamų pavyzdžių?

sobes.tech AI

Atsakymas iš AI

ROC-AUC matuoja gebėjimą atskirti klases, įvertindamas objektų reitingo kokybę pagal tikimybę priklausyti teigiamai klasei. Jei klasifikatorius visada duoda tą pačią reikšmę (0,9), jis negali rūšiuoti objektų pagal eilę, todėl ROC-AUC bus lygus 0,5 — tai atsitiktinio spėjimo reikšmė.

Pavyzdys:

  • Visi objektai gauna tą pačią įvertinimą 0,9
  • Teigiami ir neigiami objektai nesiskiria prognozėje
  • ROC kreivė bus diagonali, o po ja esantis plotas bus 0,5