V jakém rozsahu jsou nastaveny hyperparametry modelu?

Rozsah hyperparametrů modelu závisí na konkrétním algoritmu a úkolu, ale obvykle je stanoven na základě zkušeností, literatury a experimentů. Například:

• Pro rychlost učení (learning rate) v gradientním sestupu se často vybírají hodnoty od 0.0001 do 0.1.
• Počet stromů v náhodném lese se může pohybovat od 10 do několika stovek.
• Hloubka stromu je od 3 do 30 úrovní.

Je důležité používat metody optimalizace hyperparametrů (Grid Search, Random Search, Bayesian Optimization), aby se našly rozsahy a hodnoty, které dávají nejlepší výsledek na validačních datech.