Σε ποιο εύρος ορίζονται οι υπερπαραμέτροι του μοντέλου;

Το εύρος των υπερπαραμέτρων του μοντέλου εξαρτάται από τον συγκεκριμένο αλγόριθμο και την εργασία, αλλά καθορίζεται συνήθως βάσει εμπειρίας, βιβλιογραφίας και πειραμάτων. Για παράδειγμα:

• Για το ρυθμό εκμάθησης (learning rate) στην καθοδική κατεύθυνση του γραμμικού αλγορίθμου, συχνά επιλέγονται τιμές από 0.0001 έως 0.1.
• Ο αριθμός των δέντρων σε ένα τυχαίο δάσος μπορεί να κυμαίνεται από 10 έως μερικές εκατοντάδες.
• Το βάθος του δέντρου κυμαίνεται από 3 έως 30 επίπεδα.

Είναι σημαντικό να χρησιμοποιούνται μέθοδοι βελτιστοποίησης υπερπαραμέτρων (Grid Search, Random Search, Bayesian Optimization) για να επιλεγούν εύρη και τιμές που δίνουν το καλύτερο αποτέλεσμα στα δεδομένα επικύρωσης.