Kokie informatyvumo kriterijai naudojami sprendimų medžio kūrime?

Sprendimų medžio kūrimo metu informacijos kriterijai padeda pasirinkti geriausią požymį duomenų skirstymui kiekviename mazge. Pagrindiniai kriterijai:

• Informacijos entropija ir informacijos prieaugis (Information Gain): matuoja neapibrėžtumo sumažėjimą po skirstymo. Kuo didesnis informacijos prieaugis, tuo geriau požymis skiria duomenis.

• Gini neteisingumas (Gini Impurity): įvertina tikimybę neteisingai klasifikuoti atsitiktinai pasirinktą objektą. Kuo žemesnė reikšmė, tuo geresnis skirstymas.

• Prieaugio koeficientas (Gain Ratio): informacijos prieaugio modifikacija, kuri atsižvelgia į šakų skaičių, siekiant išvengti šališkumo didelės reikšmės požymiams.

• Klaidų kriterijus (Misclassification Error): neteisingai klasifikuotų objektų dalis po skirstymo.

Kriterijaus pasirinkimas priklauso nuo užduoties ir algoritmo (pavyzdžiui, ID3 naudoja informacijos entropiją, CART — Gini kriterijų).