Optuna'da Tree-structured Parzen Estimator (TPE) nedir?

Ağaç yapısına sahip Parzen Tahmin Edicisi (TPE), Optuna kütüphanesinde hiperparametre ayarlaması için kullanılan bir bayes optimizasyon yöntemidir. Klasik Gaussian Process (GP) ile karşılaştırıldığında, TPE hedef fonksiyonunun olasılık dağılımlarını iki parametrik olmayan yoğunluk modeli kullanarak modellemektedir: biri iyi (düşük) kayıp fonksiyonu değerleri için ve diğeri diğerleri için.

Fikir, belirli parametrelerin sonucu iyileştirme olasılığını değerlendirmek ve buna göre test edilecek sonraki parametreleri seçmektir. TPE iki dağılım oluşturur:

• l(x): daha iyi sonuçlara yol açan parametrelerin yoğunluğu (belirli bir eşik altında).
• g(x): daha kötü sonuçlara yol açan parametrelerin yoğunluğu.

Daha sonra, l(x)/g(x) oranını maksimize eden parametreler seçilir, bu da sonucu iyileştirme olasılığını artırır.

Bu, özellikle yüksek boyutlu veya kategorik parametreler içeren hiperparametre alanını verimli bir şekilde araştırmaya olanak tanır.

Optuna'da kullanım örneği:

import optuna

def objective(trial):
    x = trial.suggest_float('x', -10, 10)
    return (x - 2) ** 2

study = optuna.create_study(sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=100)
print(study.best_params)

Bu nedenle, TPE, parametre dağılımlarını modellemeye dayanan, doğrudan kayıp fonksiyonunu yaklaşık almayan etkili ve esnek bir bayes optimizasyon yöntemidir.