Mis on Tree-structured Parzen Estimator (TPE) Optunas?

Puukujas struktuuriga Parzen-hinnangija (TPE) on bayeslik optimeerimismeetod, mida kasutatakse Optuna teegis hüperparameetrite valimiseks. Erinevalt klassikalisest Gaussian Process'ist (GP) modelleerib TPE sihtfunktsiooni tõenäosusjaotusi kahe mitteparameetrilise tihedusmudeli abil: üks hea (madala) kaotuse väärtuste jaoks ja teine ülejäänute jaoks.

Idee on hinnata tõenäosust, et määratud parameetrid viivad tulemuse paranemiseni, ning selle põhjal valida järgmised testimiseks parameetrid. TPE loob kaks jaotust:

• l(x): parameetrite tihedus, mis viivad paremate tulemusteni (alla teatud lävendi).
• g(x): parameetrite tihedus, mis viivad halvemate tulemusteni.

Seejärel valitakse parameetrid, mis maksimeerivad l(x)/g(x) suhet, suurendades tulemuse paranemise tõenäosust.

See võimaldab tõhusalt uurida hüperparameetrite ruumi, eriti kui see on kõrge mõõtmelise või sisaldab kategoorilisi parameetreid.

Optuna näide:

import optuna

def objective(trial):
    x = trial.suggest_float('x', -10, 10)
    return (x - 2) ** 2

study = optuna.create_study(sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=100)
print(study.best_params)

Seega on TPE tõhus ja paindlik bayeslik optimeerimismeetod, mis põhineb parameetrite jaotuste modelleerimisel, mitte otse kaotuse funktsiooni lähedal lähendamisel.