Jaké kritéria informativnosti se používají při stavbě rozhodovacího stromu?

Při stavbě rozhodovacího stromu pomáhají kritéria informací vybrat nejlepší vlastnost pro rozdělení dat v každém uzlu. Hlavní kritéria:

• Informační entropie a zisk informace (Information Gain): měří snížení nejistoty po rozdělení. Čím větší je zisk informace, tím lépe vlastnost data rozděluje.

• Kritérium Gini (Gini Impurity): hodnotí pravděpodobnost nesprávné klasifikace náhodně vybraného objektu. Čím nižší je hodnota, tím lepší je rozdělení.

• Poměr zisku informace (Gain Ratio): úprava zisku informace, která zohledňuje počet větví, aby se zabránilo zaujatosti vůči vlastnostem s mnoha hodnotami.

• Chybové kritérium (Misclassification Error): podíl nesprávně klasifikovaných objektů po rozdělení.

Výběr kritéria závisí na úkolu a algoritmu (například ID3 používá informační entropii, CART používá kritérium Gini).