In welchem Bereich werden die Hyperparameter des Modells festgelegt?

Der Bereich der Hyperparameter des Modells hängt vom jeweiligen Algorithmus und der Aufgabe ab, wird jedoch in der Regel basierend auf Erfahrung, Literatur und Experimenten festgelegt. Zum Beispiel:

• Für die Lernrate beim Gradientenabstieg wählt man oft Werte von 0,0001 bis 0,1.
• Die Anzahl der Bäume in einem Random Forest kann von 10 bis mehrere Hundert variieren.
• Die Tiefe des Baumes liegt zwischen 3 und 30 Ebenen.

Es ist wichtig, Methoden zur Hyperparameter-Optimierung (Grid Search, Random Search, Bayesian Optimization) zu verwenden, um Bereiche und Werte zu finden, die die besten Ergebnisse auf Validierungsdaten liefern.