Kako se odvija proces građenja stabla odluka? Koje kriterijume razdvajanja poznajete?

Решавачкиот дрво се гради преку последователно делење на почетниот сет на податоци на подмножества, кои стануваат јазли на дрвото. На секој чекор се избира карактеристика и праг (за бројчеви карактеристики), со кои податоците се делат на делови така што се максимизира хомогеноста (чистотата) на добиените подмножества во однос на целната променлива.

Главни критериуми за делба:

• Индекс на Џини (Gini impurity) — ја мери веројатноста за грешна класификација на случајно избран објект, ако тој биде класифициран случајно според распределбата на класи во подмножеството. Колку е помал, толку подобро.

• Информациски добивка (Information Gain) — разликата во ентропијата пред и по делбата. Колку е поголема информациската добивка, толку подобро е делбата.

• Однос на информациската добивка (Information Gain Ratio) — модификација на информациската добивка која ја зема предвид бројот и големината на подмножества за да се избегне пристрасност кон карактеристики со многу вредности.

• Редукција на варијансата (Variance reduction) — се користи за регресија, минимизирајќи ја распрснатоста на вредностите на целната променлива во подмножества.

Пример за едноставна делба по карактеристика:

# Псеудокод за избор на најдобра делба
best_gain = 0
best_feature = None
for feature in features:
    for threshold in possible_thresholds(feature):
        left, right = split(data, feature, threshold)
        gain = information_gain(data, left, right)
        if gain > best_gain:
            best_gain = gain
            best_feature = (feature, threshold)