Sprendžiame dvejetainės klasifikacijos uždavinį. Kaip pasikeis precision ir recall matavimai, jei iš tikslo pašalinsime 10 objektų iš 0 klasės?
sobes.tech AI
Atsakymas iš AI
Jei iš tikslinės binarinės klasifikacijos pašalinsime 10 objektų iš 0 klasės (neigiamoji klasė), klasės pasiskirstymas pasikeis, o tai paveiks tikslumo ir atkūrimo metrikas taip:
-
Tikslumas (precision) — tai tikrųjų teigiamų (TP) ir TP bei klaidingų teigiamų (FP) sumažėjimo santykis: TP / (TP + FP). Pašalinus 0 klasės objektus iš tikslo, tai tiesiogiai neveikia TP ar FP, nes šios metrikos priklauso nuo modelio prognozių. Jei prognozės nesikeičia, tikslumas išliks beveik tas pats.
-
Atkūrimas (recall) — tai TP ir TP bei klaidingų neigiamų (FN) sumažėjimo santykis: TP / (TP + FN). Pašalinus 0 klasės objektus, tai nepaveikia TP ar FN skaičiaus 1 klasėje, todėl atkūrimas 1 klasėje išliks beveik tas pats.
Tačiau, jei žiūrėsime į metrikas 0 klasei (neigiamoji), pašalinus 0 klasės objektus, sumažės tikrųjų neigiamų (TN) skaičius ir gali būti paveikti FP ir FN, kas gali pakeisti tikslumą ir atkūrimą šiai klasei.
Bendrai, pašalinus 0 klasės objektus iš tikslo, pasiskirstymas pasikeis, kas gali paveikti metrikas, ypač jei jos yra vidurkiai pagal klases (pvz., macro-averaged). Tačiau tik teigiamai klasei skaičiuojamų metrikų pokyčiai bus minimalūs, jei prognozės nesikeis.