Трей-структури Parzen Estimator (TPE) дар Optuna чист?

Дерево-структурований Parzen-оцінювач (TPE) — це метод байєсівської оптимізації, який використовується в бібліотеці Optuna для підбору гіперпараметрів. На відміну від класичного Gaussian Process (GP), TPE моделює ймовірнісні розподіли цільової функції за допомогою двох непараметричних моделей щільності: одного для хороших (низьких) значень функції втрат і другого для інших.

Ідея полягає в тому, щоб оцінити ймовірність того, що задані параметри призведуть до покращення результату, і на основі цього обрати наступні параметри для перевірки. TPE створює два розподіли:

• l(x): щільність параметрів, що ведуть до кращих результатів (нижче за певний поріг).
• g(x): щільність параметрів, що ведуть до гірших результатів.

Потім обираються параметри, які максимізують співвідношення l(x)/g(x), що підвищує ймовірність покращення результату.

Це дозволяє ефективно досліджувати простір гіперпараметрів, особливо коли він високовимірний або містить категорійні параметри.

Приклад використання в Optuna:

import optuna

def objective(trial):
    x = trial.suggest_float('x', -10, 10)
    return (x - 2) ** 2

study = optuna.create_study(sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=100)
print(study.best_params)

Отже, TPE — це ефективний і гнучкий метод байєсівської оптимізації, заснований на моделюванні розподілів параметрів, а не на прямому апроксимації функції втрат.