Τι είναι η Bayesian βελτιστοποίηση για το HPO;

Η δυαδική βελτιστοποίηση είναι μια μέθοδος βελτιστοποίησης που χρησιμοποιείται για την αποτελεσματική εύρεση των βέλτιστων υπερπαραμέτρων του μοντέλου (HPO — Βελτιστοποίηση Υπερπαραμέτρων).

Η ιδέα είναι ότι, αντί να εξετάζουμε όλες τις πιθανές συνδυασμούς υπερπαραμέτρων (που μπορεί να είναι πολύ δαπανηρό), ο αλγόριθμος κατασκευάζει ένα πιθανοτικό μοντέλο της εξάρτησης της ποιότητας του μοντέλου από τα υπερπαραμέτρους. Συνήθως χρησιμοποιείται μια διαδικασία Gaussian ή άλλα μοντέλα για την αξιολόγηση της λειτουργίας απόκρισης.

Στη συνέχεια, βάσει αυτού του μοντέλου, επιλέγονται τα πιο πολλά υποσχόμενα υπερπαραμέτρους για την επόμενη εκτέλεση, επιτρέποντας την ταχύτερη εύρεση καλών ρυθμίσεων.

Περίπου διαδικασία:

1. Επιλογή αρχικών σημείων (σύνολα υπερπαραμέτρων) και αξιολόγηση της ποιότητας του μοντέλου.
2. Κατασκευή πιθανοτικού μοντέλου (υποκατάστατο μοντέλο) της λειτουργίας ποιότητας.
3. Με τη βοήθεια μιας λειτουργίας απόκτησης, επιλέγεται το επόμενο σύνολο υπερπαραμέτρων για δοκιμή.
4. Επαναλαμβάνεται μέχρι να επιτευχθεί το κριτήριο διακοπής.

Αυτό επιτρέπει σημαντική μείωση του αριθμού των εκτελέσεων του μοντέλου σε σύγκριση με την εξαντλητική ή τυχαία αναζήτηση.