V akom rozsahu sú nastavené hyperparametre modelu?

Rozsah hyperparametrov modelu závisí od konkrétneho algoritmu a úlohy, ale zvyčajne sa stanovuje na základe skúseností, literatúry a experimentov. Napríklad:

• Pre rýchlosť učenia (learning rate) v gradientovom zostupe sa často vyberajú hodnoty od 0.0001 do 0.1.
• Počet stromov v náhodnom lese sa môže pohybovať od 10 do niekoľkých stoviek.
• Hĺbka stromu je od 3 do 30 úrovní.

Je dôležité používať metódy optimalizácie hyperparametrov (Grid Search, Random Search, Bayesian Optimization), aby sa našli rozsahy a hodnoty, ktoré dávajú najlepší výsledok na validačných dátach.