Qərar ağacının qurulma prosesi necə baş verir? Hansı bölmə meyarlarını bilirsiniz?

Qərar ağacı, ilkin məlumat dəstinin ardıcıl şəkildə alt dəstələrə bölünməsi ilə qurulur və bu alt dəstələr ağacın düyünlərinə çevrilir. Hər addımda, xüsusiyyət və sərhəd (sayısal xüsusiyyətlər üçün) seçilir və məlumatlar, nəticədə alınan alt dəstələrin homojenliyini (saflığını) maksimuma çatdırmaq üçün bölünür.

Əsas bölmə meyarları:

• Gini indeksi (Gini impurity) — təsadüfi seçilmiş obyektin yanlış təsnifatı ehtimalını ölçür, əgər obyekt təsadüfi olaraq təsnif edilərsə, alt dəstədəki sinif paylanmasına əsasən. Daha aşağı, daha yaxşı.

• Məlumat qazanımı (Information Gain) — bölmə əvvəl və sonra entropiya fərqi. Məlumat qazanımı nə qədər çox olarsa, bölmə bir o qədər yaxşıdır.

• Məlumat Qazanımı Nisbəti (Information Gain Ratio) — məlumat qazanımının modifikasiyası, çox sayda dəyərə malik xüsusiyyətlərə qarşı meylin qarşısını almaq üçün alt dəstələrin sayı və ölçüsünü nəzərə alır.

• Varyansın azaldılması (Variance reduction) — regresiya üçün istifadə olunur, alt dəstələrdə məqsəd dəyişəninin dəyərlərinin dispersiyasını minimallaşdırır.

Sadə xüsusiyyətə əsaslanan bölmə nümunəsi:

# Ən yaxşı bölməni seçmək üçün pseudokod
best_gain = 0
best_feature = None
for feature in features:
    for threshold in possible_thresholds(feature):
        left, right = split(data, feature, threshold)
        gain = information_gain(data, left, right)
        if gain > best_gain:
            best_gain = gain
            best_feature = (feature, threshold)