Qaror daraxtini qurish jarayoni qanday o'tadi? Qaysi bo'linish mezonlarini bilasiz?

Qaror daraxti boshlang'ich ma'lumotlar to'plamini ketma-ket bo'laklarga bo'lish orqali quriladi, bu bo'laklar daraxtning tugunlariga aylanadi. Har bir bosqichda, xususiyat va chegarani (raqamli xususiyatlar uchun) tanlab, ma'lumotlar bo'laklarga bo'linadi, bu esa hosil bo'ladigan bo'laklarning birxillashtirilishini (tozaligini) maksimal darajada oshirish uchun.

Asosiy bo'linish mezonlari:

• Gini indeksi (Gini impurity) — tasodifiy tanlangan ob'ektning noto'g'ri tasniflanish ehtimolini o'lchaydi, agar u tasodifiy ravishda tasniflangan bo'lsa, bo'lakdagi sinf taqsimotiga asoslangan. Qanchalik past bo'lsa, shuncha yaxshi.

• Ma'lumotlar yutug'i (Information Gain) — bo'linishdan oldin va keyin entropiya farqi. Ma'lumotlar yutug'i katta bo'lsa, bo'linish yaxshi.

• Ma'lumotlar yutug'ining nisbati (Information Gain Ratio) — ma'lumotlar yutug'ining modifikatsiyasi bo'lib, bo'laklarning soni va hajmini hisobga oladi, shuning uchun ko'p qiymatga ega xususiyatlarga nisbatan nisbatan cheklov qo'yadi.

• Variansiya kamayishi (Variance reduction) — regressiya uchun ishlatiladi, bo'laklarda maqsad o'zgaruvchilarining tarqalishini minimallashtiradi.

Oddiy bo'linish misoli:

# Eng yaxshi bo'linishni tanlash uchun pseudokod
best_gain = 0
best_feature = None
for feature in features:
    for threshold in possible_thresholds(feature):
        left, right = split(data, feature, threshold)
        gain = information_gain(data, left, right)
        if gain > best_gain:
            best_gain = gain
            best_feature = (feature, threshold)