Τι είναι ο Tree-structured Parzen Estimator (TPE) στο Optuna;

Ο Estimator Parzen δομής δέντρου (TPE) είναι μια μέθοδος Bayesian βελτιστοποίησης που χρησιμοποιείται στη βιβλιοθήκη Optuna για την επιλογή υπερπαραμέτρων. Σε αντίθεση με την κλασική Gaussian Process (GP), το TPE μοντελοποιεί τις κατανομές πιθανοτήτων της λειτουργίας στόχου χρησιμοποιώντας δύο μη παραμετρικά μοντέλα πυκνότητας: ένα για τις καλές (χαμηλές) τιμές της λειτουργίας απώλειας και ένα για τις υπόλοιπες.

Η ιδέα είναι να εκτιμηθεί η πιθανότητα ότι ορισμένες παράμετροι θα οδηγήσουν σε βελτίωση του αποτελέσματος και, βάσει αυτού, να επιλεγούν οι επόμενες παράμετροι προς δοκιμή. Το TPE κατασκευάζει δύο κατανομές:

• l(x): η πυκνότητα των παραμέτρων που οδηγούν σε καλύτερα αποτελέσματα (κάτω από ένα ορισμένο όριο).
• g(x): η πυκνότητα των παραμέτρων που οδηγούν σε χειρότερα αποτελέσματα.

Στη συνέχεια, επιλέγονται οι παράμετροι που μεγιστοποιούν το λόγο l(x)/g(x), αυξάνοντας την πιθανότητα βελτίωσης του αποτελέσματος.

Αυτό επιτρέπει την αποτελεσματική εξερεύνηση του χώρου των υπερπαραμέτρων, ειδικά όταν αυτός είναι υψηλής διάστασης ή περιέχει κατηγορηματικές παραμέτρους.

Παράδειγμα χρήσης στο Optuna:

import optuna

def objective(trial):
    x = trial.suggest_float('x', -10, 10)
    return (x - 2) ** 2

study = optuna.create_study(sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=100)
print(study.best_params)

Έτσι, το TPE είναι μια αποτελεσματική και ευέλικτη μέθοδος Bayesian βελτιστοποίησης, βασισμένη στη μοντελοποίηση κατανομών παραμέτρων, και όχι στην άμεση προσέγγιση της λειτουργίας απώλειας.