Cum are loc procesul de construire a arborelui de decizie? Ce criterii de divizare cunoașteți?

Se construiește un copac de decizie prin împărțirea secvențială a setului de date inițial în submulțimi, care devin nodurile copacului. La fiecare pas, se selectează o caracteristică și un prag (pentru caracteristici numerice), cu ajutorul cărora datele sunt împărțite în părți pentru a maximiza omogenitatea (puritatea) submulțimilor obținute în raport cu variabila țintă.

Criterii principale de împărțire:

• Indicele Gini (Gini impurity) — măsoară probabilitatea de eroare în clasificarea unui obiect ales aleatoriu, dacă acesta este clasificat aleatoriu conform distribuției claselor în submulțime. Cu cât este mai mic, cu atât mai bine.

• Câștigul de informație (Information Gain) — diferența de entropie înainte și după împărțire. Cu cât câștigul de informație este mai mare, cu atât împărțirea este mai bună.

• Raportul de câștig de informație (Information Gain Ratio) — o modificare a câștigului de informație care ia în considerare numărul și dimensiunea submulțimilor pentru a evita biasul față de caracteristicile cu multe valori.

• Reducerea varianței (Variance reduction) — utilizată pentru regresie, minimizează dispersia valorilor variabilei țintă în submulțimi.

Exemplu de împărțire simplă pe bază de caracteristică:

# Pseudocod pentru alegerea celei mai bune împărțiri
best_gain = 0
best_feature = None
for feature in features:
    for threshold in possible_thresholds(feature):
        left, right = split(data, feature, threshold)
        gain = information_gain(data, left, right)
        if gain > best_gain:
            best_gain = gain
            best_feature = (feature, threshold)