Come avviene il processo di costruzione dell'albero decisionale? Quali criteri di divisione conosci?

L'albero decisionale viene costruito mediante una divisione sequenziale del set di dati originale in sottoinsiemi, che diventano nodi dell'albero. Ad ogni passo, si seleziona una caratteristica e una soglia (per caratteristiche numeriche), con le quali i dati vengono divisi in parti per massimizzare l'omogeneità (purezza) dei sottoinsiemi risultanti rispetto alla variabile target.

Criteri principali di divisione:

• Indice di Gini (Gini impurity) — misura la probabilità di errore nella classificazione di un oggetto scelto casualmente, se viene classificato casualmente secondo la distribuzione delle classi nel sottoinsieme. Più è basso, meglio è.

• Guadagno di informazione (Information Gain) — differenza di entropia prima e dopo la divisione. Più grande è il guadagno di informazione, migliore è la divisione.

• Rapporto di guadagno di informazione (Information Gain Ratio) — modifica del guadagno di informazione che considera il numero e la dimensione dei sottoinsiemi per evitare bias verso caratteristiche con molti valori.

• Riduzione della varianza (Variance reduction) — usato per regressione, minimizza la dispersione dei valori della variabile target nei sottoinsiemi.

Esempio di divisione semplice per caratteristica:

# Pseudocodice per selezionare la migliore divisione
best_gain = 0
best_feature = None
for feature in features:
    for threshold in possible_thresholds(feature):
        left, right = split(data, feature, threshold)
        gain = information_gain(data, left, right)
        if gain > best_gain:
            best_gain = gain
            best_feature = (feature, threshold)