Optunaда Tree-structured Parzen Estimator (TPE) эмне?

Дара-структураланган Parzen баамалагы (TPE) — Optuna китабханасында гиперпараметрлерди тандоо үчүн колдонулган байес оптимизациясынын ыкмасы. Классикалык Gaussian Process (GP) менен салыштырганда, TPE максаттык функциянын ыктымалдык бөлүштүрүүлөрүн эки параметрсиз тыгыздык моделдери аркылуу моделдештирет: бири жакшы (төмөн) жоготуу функциясынын маанилери үчүн жана экинчиси калгандары үчүн.

Идея — белгилүү бир параметрлер натыйжаны жакшыртууга алып келүү ыктымалдыгын баалоо жана ошол негизде кийинки текшерүү үчүн параметрлерди тандоо. TPE эки бөлүштүрүүнү түзөт:

• l(x): жакшы натыйжаларга алып келген параметрлердин тыгыздыгы (белгиленген чектен төмөн)
• g(x): начар натыйжаларга алып келген параметрлердин тыгыздыгы.

Андан соң, l(x)/g(x) катышымын максималдаштырган параметрлер тандалат, бул натыйжаны жакшыртуу мүмкүнчүлүгүн жогорулатат.

Бул гиперпараметрлердин кеңейишин эффективдүү изилдөөгө мүмкүндүк берет, өзгөчө ал жогорку өлчөмдүү же категориялык параметрлерди камтыса.

Optunaда колдонуу мисалы:

import optuna

def objective(trial):
    x = trial.suggest_float('x', -10, 10)
    return (x - 2) ** 2

study = optuna.create_study(sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=100)
print(study.best_params)

Ошентип, TPE — бул параметрлердин бөлүштүрүүлөрүн моделдөө боюнча эффективдүү жана ийкемдүү байес оптимизациялоо ыкмасы, ал түздөн-түз жоготуу функциясына жакындашпайт.