Qual è il criterio di ramificazione negli alberi?

Il criterio di ramificazione negli alberi decisionali è una metrica o regola secondo cui si sceglie una caratteristica e un valore per dividere i dati in sottoinsiemi a ogni nodo dell'albero. L'obiettivo è massimizzare l'omogeneità (purezza) dei sottoinsiemi risultanti per migliorare la qualità della classificazione o regressione.

Esempi di criteri di ramificazione:

• Indice di Gini (Gini impurity) — misura la probabilità di errore nella classificazione di un oggetto scelto casualmente dal set.
• Guadagno di informazione (Information Gain) — misura la riduzione dell'incertezza dopo la divisione.
• Errore di classificazione (Misclassification error) — proporzione di oggetti classificati erroneamente.

La scelta del criterio influisce sulla struttura dell'albero e sulla qualità del modello. Ad esempio, nell'algoritmo CART si utilizza generalmente l'indice di Gini, mentre in ID3 si utilizza il guadagno di informazione.