Welche Kriterien für Informationsgehalt werden beim Aufbau eines Entscheidungsbaums verwendet?
sobes.tech KI
Antwort von AI
Beim Aufbau eines Entscheidungsbaums helfen Informationskriterien dabei, das beste Merkmal für die Datenaufteilung an jedem Knoten auszuwählen. Die wichtigsten Kriterien:
-
Informationsentropie und Informationsgewinn (Information Gain): misst die Verringerung der Unsicherheit nach der Aufteilung. Je größer der Informationsgewinn, desto besser trennt das Merkmal die Daten.
-
Gini-Kriterium (Gini Unreinheit): bewertet die Wahrscheinlichkeit, ein zufällig ausgewähltes Objekt falsch zu klassifizieren. Je niedriger der Wert, desto besser die Trennung.
-
Gain Ratio (Verhältnis des Informationsgewinns): Modifikation des Informationsgewinns, die die Anzahl der Äste berücksichtigt, um eine Verzerrung zugunsten von Merkmalen mit vielen Werten zu vermeiden.
-
Fehlerkriterium (Misclassification Error): Anteil der nach der Aufteilung falsch klassifizierten Objekte.
Die Wahl des Kriteriums hängt von der Aufgabe und dem Algorithmus ab (z.B. verwendet ID3 die Informationsentropie, CART das Gini-Kriterium).