Aké kritériá informatívnosti sa používajú pri zostavovaní rozhodovacieho stromu?

Pri budovaní rozhodovacieho stromu pomáhajú kritériá informácií vybrať najlepšiu vlastnosť na rozdelenie dát v každom uzle. Hlavné kritériá:

• Informačná entropia a zisk informácie (Information Gain): meria zníženie neistoty po rozdelení. Čím väčší je zisk informácie, tým lepšie vlastnosť dáta rozdeľuje.

• Kritérium Gini (Gini Impurity): hodnotí pravdepodobnosť nesprávnej klasifikácie náhodne vybraného objektu. Čím nižšia je hodnota, tým lepšie je rozdelenie.

• Pomerná hodnota zisku informácie (Gain Ratio): úprava zisku informácie, ktorá zohľadňuje počet vetiev, aby sa zabránilo zaujatosti voči vlastnostiam s mnohými hodnotami.

• Chybové kritérium (Misclassification Error): podiel nesprávne klasifikovaných objektov po rozdelení.

Výber kritéria závisí od úlohy a algoritmu (napríklad ID3 používa informačnú entropiu, CART používa kritérium Gini).