In welk bereik worden de hyperparameters van het model ingesteld?

De bereik van hyperparameters van het model hangt af van het specifieke algoritme en de taak, maar wordt meestal vastgesteld op basis van ervaring, literatuur en experimenten. Bijvoorbeeld:

• Voor de leersnelheid (learning rate) in gradient descent worden vaak waarden gekozen van 0.0001 tot 0.1.
• Het aantal bomen in een willekeurige bos kan variëren van 10 tot enkele honderden.
• De diepte van de boom ligt tussen 3 en 30 niveaus.

Het is belangrijk om hyperparameteroptimalisatiemethoden (Grid Search, Random Search, Bayesian Optimization) te gebruiken om bereiken en waarden te selecteren die de beste resultaten opleveren op validatiegegevens.