Кайсысы чечим дарагын куруу процеси кандай өтөт? Кантип бөлүү критерийлерин билесиз?

Каррар дарагы — баштапкы маалыматтар топтомун үзгүлтүксүз бөлүү аркылуу курулат, ал бөлүмдөр дарактын түйүндөрүнө айланат. Ар бир кадамда, өзгөчөлүк жана чек (сандык өзгөчөлүктөр үчүн) тандалып, маалыматтар бөлүктөргө бөлүнөт, натыйжада алынган бөлүмдөрдүн биримдүүлүгүн (таза болуусун) максималдаштыруу үчүн.

Негизги бөлүү критерийлери:

• Gini көрсөткүчү (Gini impurity) — кездейсоқ тандалган объекттин катасыз классификациялоо мүмкүнчүлүгүн өлчөйт, эгер ал кездейсоқ түрдө класстар бөлүштүрүлсө, бөлүмдөгү класстар бөлүштүрүлүшүнө негизделип. Эч качан төмөн болсо, жакшыраак.

• Маалыматтын пайдасы (Information Gain) — бөлүүнүн алдында жана кийин энтропиянын айырмасы. Эч качан чоңураак болсо, бөлүү жакшыраак.

• Маалыматтын пайдасынын катышы (Information Gain Ratio) — маалыматтын пайдасынын өзгөрүшү, ал бөлүмдөрдүн саны жана көлөмү эске алынган, көп маанилүү өзгөчөлүктөргө карата ого бетер көз карандылыкты алдын алуу үчүн.

• Вариациянын азайышы (Variance reduction) — регрессия үчүн колдонулат, ал бөлүмдөрдө максаттык өзгөрмөнүн маанилеринин таралышын минималдаштырат.

Жөнөкөй бөлүү мисалы:

# Эң жакшы бөлүүнү тандоо үчүн псевдокод
best_gain = 0
best_feature = None
for feature in features:
    for threshold in possible_thresholds(feature):
        left, right = split(data, feature, threshold)
        gain = information_gain(data, left, right)
        if gain > best_gain:
            best_gain = gain
            best_feature = (feature, threshold)