Kā notiek lēmumu koka būvniecības process? Kādus sadalījuma kritērijus jūs zināt?

Lēmumu koks tiek būvēts secīgi sadalot sākotnējo datu kopu apakškopās, kas kļūst par koka mezgliem. Katrā solī tiek izvēlēta īpašība un slieksnis (skaitliskajām īpašībām), pēc kura dati tiek sadalīti daļās, lai maksimāli palielinātu iegūto apakškopu vienveidību (saimniecību) attiecībā uz mērķa mainīgo.

Galvenie sadalīšanas kritēriji:

• Gini indekss (Gini impurity) — mēra varbūtību, ka nejauši izvēlēts objekts tiks nepareizi klasificēts, ja tas tiks nejauši klasificēts pēc klases sadalījuma apakškopā. Jo zemāks, jo labāk.

• Informācijas ieguvums (Information Gain) — entropijas starpība pirms un pēc sadalīšanas. Jo lielāks ieguvums, jo labāka sadalīšana.

• Informācijas ieguvuma attiecība (Information Gain Ratio) — informācijas ieguvuma modifikācija, kas ņem vērā apakškopu skaitu un lielumu, lai izvairītos no aizspriedumiem pret īpašībām ar daudzām vērtībām.

• Variācijas samazinājums (Variance reduction) — tiek izmantots regresijā, samazina mērķa mainīgā vērtību izkliedi apakškopās.

Vienkāršs sadalīšanas piemērs pēc īpašības:

# Pseido-kods labākās sadalīšanas izvēlei
best_gain = 0
best_feature = None
for feature in features:
    for threshold in possible_thresholds(feature):
        left, right = split(data, feature, threshold)
        gain = information_gain(data, left, right)
        if gain > best_gain:
            best_gain = gain
            best_feature = (feature, threshold)