Millised informatiivsus kriteeriumid kasutatakse otsustuspuidu ehitamisel?

Otsustusteede ehitamisel aitavad teabe kriteeriumid valida iga sõlme andmete parsimiseks parima tunnuse. Peamised kriteeriumid:

• Informatsiooni entropia ja teabe kasum (Information Gain): mõõdab ebakindluse vähenemist pärast jagamist. Mida suurem on teabe kasum, seda paremini eraldab tunnus andmed.

• Gini määramatus (Gini Impurity): hindab tõenäosust, et juhuslikult valitud objekt klassifitseeritakse valesti. Mida madalam väärtus, seda parem jaotus.

• Kasumi suhe (Gain Ratio): teabe kasumi modifikatsioon, mis arvestab harude arvu, et vältida kalduvust omadustele, millel on palju väärtusi.

• Vigade kriteerium (Misclassification Error): osa valesti klassifitseeritud objektidest pärast jaotust.

Kriteeriumi valik sõltub ülesandest ja algoritmist (näiteks ID3 kasutab teabe entropiat, CART — Gini kriteeriumi).