Kuidas toimub otsustamispuu ehitamise protsess? Milliseid jagamise kriteeriume te tead?

Otsustuspuu ehitatakse järk-järgult algandmekogumi alamhulkadeks, mis muutuvad puu sõlmedeks. Igal sammul valitakse tunnus ja lävi (arvuliste tunnuste puhul), mille alusel jagatakse andmed osadeks, et maksimeerida saadud alamhulkade homogeenust (puhtust) seoses sihtmuutujaga.

Peamised jagamise kriteeriumid:

• Gini indeks (Gini impurity) — mõõdab tõenäosust, et juhuslikult valitud objekt klassifitseeritakse valesti, kui see klassifitseeritakse juhuslikult vastavalt alamhulga klasside jaotusele. Mida madalam, seda parem.

• Informatsiooni kasu (Information Gain) — erinevus entropias enne ja pärast jagamist. Mida suurem kasu, seda parem jagamine.

• Informatsiooni kasu suhe (Information Gain Ratio) — informatsiooni kasu modifikatsioon, mis arvestab alamhulkade arvu ja suurust, et vältida kalduvust suurte väärtuste arvuga tunnuste suhtes.

• Variatsiooni vähendamine (Variance reduction) — kasutatakse regressioonis, vähendab sihtmuutja väärtuste hajuvust alamhulkades.

Lihtne jagamise näide tunnuse järgi:

# Pseudokood parima jagamise valimiseks
best_gain = 0
best_feature = None
for feature in features:
    for threshold in possible_thresholds(feature):
        left, right = split(data, feature, threshold)
        gain = information_gain(data, left, right)
        if gain > best_gain:
            best_gain = gain
            best_feature = (feature, threshold)