Jakie kryteria informatywności są używane przy budowie drzewa decyzyjnego?

Podczas budowy drzewa decyzyjnego kryteria informacyjne pomagają wybrać najlepszą cechę do podziału danych na każdym węźle. Główne kryteria:

• Entropia informacyjna i zysk informacji (Information Gain): mierzy zmniejszenie niepewności po podziale. Im większy zysk informacji, tym lepiej cecha dzieli dane.

• Kryterium Gini (Gini Impurity): ocenia prawdopodobieństwo błędnej klasyfikacji losowo wybranego obiektu. Im niższa wartość, tym lepszy podział.

• Współczynnik zysku informacji (Gain Ratio): modyfikacja zysku informacji, uwzględniająca liczbę gałęzi, aby uniknąć uprzedzeń wobec cech z dużą liczbą wartości.

• Kryterium błędu (Misclassification Error): odsetek obiektów błędnie sklasyfikowanych po podziale.

Wybór kryterium zależy od zadania i algorytmu (np. ID3 używa entropii informacji, CART używa kryterium Gini).