Ce este criteriul de ramificare în copaci?

Criteriul de ramificare în arborii de decizie este o metrică sau regulă după care se alege o caracteristică și o valoare pentru a împărți datele în submulțimi la fiecare nod al arborelui. Scopul este de a maximiza omogenitatea (puritatea) submulțimilor obținute pentru a îmbunătăți calitatea clasificării sau regresiei.

Exemple de criterii de ramificare:

• Indicele Gini (Gini impurity) — măsoară probabilitatea de eroare în clasificarea aleatorie a unui obiect din mulțime.
• Câștigul de informație (Information Gain) — măsoară reducerea incertitudinii după divizare.
• Eroarea de clasificare (Misclassification error) — proporția de obiecte clasificate greșit.

Alegerea criteriului influențează structura arborelui și calitatea modelului. De exemplu, în algoritmul CART, se folosește de obicei indicele Gini, în timp ce în ID3 se utilizează câștigul de informație.