U kom opsegu se postavljaju hiperparametri modela?

Opseg hiperparametara modela zavisi od konkretnog algoritma i zadatka, ali se obično određuje na osnovu iskustva, literature i eksperimenata. Na primer:

• Za stopu učenja (learning rate) u gradijentnom spustu često se biraju vrednosti od 0.0001 do 0.1.
• Broj stabala u slučajnom šumarku može varirati od 10 do nekoliko stotina.
• Dubina stabla je od 3 do 30 nivoa.

Važno je koristiti metode optimizacije hiperparametara (Grid Search, Random Search, Bayesian Optimization) kako bi se odabrali opsezi i vrednosti koji daju najbolji rezultat na validacionim podacima.