Wie erkennt man, wann man die Merkmalsauswahl stoppen sollte?

Das Stoppen der Merkmalsauswahl ist ratsam, wenn das weitere Entfernen oder Hinzufügen von Merkmalen die Modellqualität nicht mehr verbessert oder verschlechtert. Man orientiert sich in der Regel an Qualitätsmetriken (z.B. Genauigkeit, F1, ROC-AUC) auf der Validierungsstichprobe. Wenn nach einem Schritt der Merkmalsauswahl:

• die Metrik nicht verbessert wird,
• oder die Verbesserung unbedeutend ist,
• oder das Modell zu komplex wird,

ist dies ein Signal zum Anhalten.

Es ist auch wichtig, das Gleichgewicht zwischen Leistung und Komplexität des Modells zu berücksichtigen: Zu viele Merkmale können zu Überanpassung führen und die Trainings-/Vorhersagezeit erhöhen.

Beispiel: Bei Verwendung der rekursiven Merkmalsentfernung (RFE) kann man anhalten, wenn die Metrik auf der Validierung ihr Maximum erreicht oder zu sinken beginnt.