Τι είναι η Βαϊζιανή Βελτιστοποίηση και οι συναρτήσεις απόκτησης (EI, UCB, PI);

Η Bayesian Optimization είναι μια μέθοδος βελτιστοποίησης πολύπλοκων συναρτήσεων που είναι ακριβές για υπολογισμό ή δεν έχουν αναλυτική μορφή. Χρησιμοποιεί ένα πιθανοτικό μοντέλο (συνήθως μια Gaussian διαδικασία) για την προσέγγιση της στόχουσας συνάρτησης και επιλέγει τα επόμενα σημεία αξιολόγησης, ισορροπώντας μεταξύ εξερεύνησης και εκμετάλλευσης.

Οι συναρτήσεις απόκτησης είναι συναρτήσεις που, βασιζόμενες στο τρέχον μοντέλο, καθορίζουν πού πρέπει να πραγματοποιηθεί το επόμενο πείραμα. Μετατρέπουν τις προβλέψεις του μοντέλου σε κριτήριο επιλογής σημείου.

Κύριες συναρτήσεις απόκτησης:

• Expected Improvement (EI) — αναμενόμενη βελτίωση σε σύγκριση με την τρέχουσα καλύτερη τιμή. Επιλέγει σημεία όπου αναμένεται μέγιστη βελτίωση.

• Upper Confidence Bound (UCB) — συνδυάζει τη μέση πρόβλεψη και την αβεβαιότητα (διακύμανση) με έναν συντελεστή, επιτρέποντας την ισορροπία μεταξύ εξερεύνησης και εκμετάλλευσης. Ο τύπος είναι συνήθως: UCB(x) = μ(x) + κ·σ(x), όπου το κ είναι παράμετρος.

• Probability of Improvement (PI) — η πιθανότητα ότι, στο σημείο x, η συνάρτηση θα ξεπεράσει το τρέχον καλύτερο αποτέλεσμα.

Έτσι, η Bayesian Optimization αναζητά αποτελεσματικά το μέγιστο ή ελάχιστο μιας συνάρτησης, χρησιμοποιώντας ένα μοντέλο και μια συνάρτηση απόκτησης για την επιλογή των πιο υποσχόμενων σημείων αξιολόγησης.