Kādi informācijas kritēriji tiek izmantoti lēmumu koka būvēšanā?

Lēmumu koka būvniecībā informācijas kritēriji palīdz izvēlēties labāko raksturlielumu datu sadalīšanai katrā mezglā. Galvenie kritēriji:

• Informācijas entropija un informācijas ieguvums (Information Gain): mēra neskaidrības samazināšanos pēc sadalījuma. Jo lielāks ir informācijas ieguvums, jo labāk raksturlielums sadala datus.

• Gini netīrība (Gini Impurity): novērtē varbūtību nepareizi klasificēt nejauši izvēlētu objektu. Jo zemāka vērtība, jo labāks sadalījums.

• Ieguvuma koeficients (Gain Ratio): informācijas ieguvuma modifikācija, ņemot vērā zaru skaitu, lai novērstu aizspriedumus pret raksturlielumiem ar daudzām vērtībām.

• Kļūdas kritērijs (Misclassification Error): nepareizi klasificēto objektu daļa pēc sadalījuma.

Kritērija izvēle ir atkarīga no uzdevuma un algoritma (piemēram, ID3 izmanto informācijas entropiju, CART — Gini kritēriju).