Šta je Tree-structured Parzen Estimator (TPE) u Optuni?

Stablo-strukturirani Parzen procenjivač (TPE) je metoda bayesovske optimizacije koja se koristi u biblioteci Optuna za odabir hiperparametara. Za razliku od klasičnog Gaussian Process (GP), TPE modeluje verovatnosne raspodele ciljne funkcije pomoću dva nestrukturisana modela gustine: jedan za dobre (niske) vrednosti funkcije gubitka i drugi za ostale.

Ideja je da proceni verovatnoću da određeni parametri dovode do poboljšanja rezultata, i na osnovu toga da odabere sledeće parametre za testiranje. TPE gradi dve raspodele:

• l(x): gustina parametara koji vode ka boljim rezultatima (ispod određenog praga).
• g(x): gustina parametara koji vode ka lošijim rezultatima.

Zatim se biraju parametri koji maksimiziraju odnos l(x)/g(x), čime se povećava verovatnoća poboljšanja rezultata.

Ovo omogućava efikasno istraživanje prostora hiperparametara, posebno kada je visokodimenzionalan ili sadrži kategorijske parametre.

Primer upotrebe u Optuna:

import optuna

def objective(trial):
    x = trial.suggest_float('x', -10, 10)
    return (x - 2) ** 2

study = optuna.create_study(sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=100)
print(study.best_params)

TPE je efikasna i fleksibilna metoda bayesovske optimizacije zasnovana na modeliranju raspodela parametara, a ne na direktnom približavanju funkcije gubitka.