Welke informativiteitscriteria worden gebruikt bij het bouwen van een beslissingsboom?

Bij het bouwen van een beslissingsboom helpen informatieve criteria bij het kiezen van het beste kenmerk om de gegevens op elk knooppunt te splitsen. De belangrijkste criteria:

• Informatieve entropie en informatiewinst (Information Gain): meet de vermindering van onzekerheid na de splitsing. Hoe groter de informatiewinst, hoe beter het kenmerk de gegevens scheidt.

• Gini-criterium (Gini Impurity): beoordeelt de kans op het verkeerd classificeren van een willekeurig geselecteerd object. Hoe lager de waarde, hoe beter de scheiding.

• Gain Ratio (Verhouding van informatiewinst): een modificatie van de informatiewinst die het aantal takken in overweging neemt om bias naar kenmerken met veel waarden te voorkomen.

• Foutcriterium (Misclassification Error): het aandeel van verkeerd geclassificeerde objecten na de splitsing.

De keuze van het criterium hangt af van de taak en het algoritme (bijvoorbeeld, ID3 gebruikt informatie-entropie, CART gebruikt het Gini-criterium).