Optuna-да Tree-structured Parzen Estimator (TPE) дегеніміз не?

Ағаш құрылымындағы Parzen бағалаушысы (TPE) — бұл Optuna кітапханасында гиперпараметрлерді таңдау үшін қолданылатын байесовтік оңтайландыру әдісі. Классикалық Gaussian Process (GP) әдісінен айырмашылығы, TPE мақсатты функцияның ықтималдық таралымдарын екі параметрлік емес модель арқылы моделдейді: біреуі жақсы (төмен) мәндер үшін, екіншісі қалғандары үшін.

Идеясы — берілген параметрлердің нәтижені жақсартуға әкелу ықтималдығын бағалау және осы негізде келесі параметрлерді таңдау. TPE екі таралым құрады:

• l(x): жақсы нәтижелерге әкелетін параметрлердің тығыздығы (белгілі бір шектен төмен).
• g(x): нашар нәтижелерге әкелетін параметрлердің тығыздығы.

Содан кейін l(x)/g(x) қатынасын максимизациялайтын параметрлер таңдалады, бұл нәтижені жақсарту ықтималдығын арттырады.

Бұл әдіс гиперпараметрлер кеңістігін тиімді зерттеуге мүмкіндік береді, әсіресе ол жоғары өлшемді немесе категориялық параметрлерді қамтыған кезде.

Optuna-да қолдану мысалы:

import optuna

def objective(trial):
    x = trial.suggest_float('x', -10, 10)
    return (x - 2) ** 2

study = optuna.create_study(sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=100)
print(study.best_params)

Осылайша, TPE — параметрлердің таралымдарын моделдеу негізінде жұмыс істейтін, тиімді және икемді байесовтік оңтайландыру әдісі, ол тікелей шығын функциясын апроксимациялауға негізделмеген.