Quali criteri di informatività vengono utilizzati nella costruzione di un albero decisionale?

Durante la costruzione di un albero decisionale, i criteri di informazione aiutano a scegliere la migliore caratteristica per dividere i dati in ogni nodo. I principali criteri:

• Entropia dell'informazione e guadagno di informazione (Information Gain): misura la riduzione dell'incertezza dopo la divisione. Più alto è il guadagno di informazione, meglio la caratteristica separa i dati.

• Criterio di Gini (Gini Impurity): valuta la probabilità di classificare erroneamente un oggetto scelto a caso. Più basso è il valore, migliore è la separazione.

• Coefficiente di guadagno di informazione (Gain Ratio): modifica del guadagno di informazione che considera il numero di rami per evitare bias verso caratteristiche con molti valori.

• Criterio di errore (Misclassification Error): proporzione di oggetti classificati erroneamente dopo la divisione.

La scelta del criterio dipende dal compito e dall'algoritmo (ad esempio, ID3 utilizza l'entropia dell'informazione, CART utilizza il criterio di Gini).