Was ist das Verzweigungskriterium in Bäumen?

Das Kriterium für die Verzweigung in Entscheidungsbäumen ist eine Metrik oder Regel, nach der ein Merkmal und ein Wert ausgewählt werden, um die Daten an jedem Knoten des Baumes in Untergruppen zu unterteilen. Das Ziel ist es, die Homogenität (Reinheit) der resultierenden Untergruppen zu maximieren, um die Qualität der Klassifikation oder Regression zu verbessern.

Beispiele für Verzweigungskriterien:

• Gini-Index (Gini-Impurity) — misst die Wahrscheinlichkeit eines Fehlers bei der zufälligen Klassifizierung eines Objekts aus der Menge.
• Informationsgewinn (Information Gain) — misst die Verringerung der Unsicherheit nach der Teilung.
• Fehlerkriterium (Misclassification error) — Anteil der falsch klassifizierten Objekte.

Die Wahl des Kriteriums beeinflusst die Struktur des Baumes und die Qualität des Modells. Zum Beispiel wird im CART-Algorithmus üblicherweise der Gini-Index verwendet, während bei ID3 die Informationsgewinn genutzt wird.