Ի՞նչ է Tree-structured Parzen Estimator (TPE) in Optuna.

Ճյուղված կառուցված Parzen գնահատող (TPE) — դա bayesian օպտիմալացման մեթոդ է, որը օգտագործվում է Optuna գրադարանում հիպերպարամետրերի ընտրության համար: Բացարձակապես ավանդական Gaussian Process (GP)-ի փոխարեն, TPE մոդելավորում է նպատակային ֆունկցիայի հավանականության բաշխումները երկու ոչ պարամետրային խտության մոդելների միջոցով՝ մեկը լավ (նվազ) արժեքների համար և մյուսը՝ մնացածի համար:

Իդեան այն է գնահատել, թե որքան հավանական է, որ որոշ պարամետրեր կհանգեցնեն արդյունքի բարելավման, և այդ հիման վրա ընտրել հաջորդ փորձարկվող պարամետրերը: TPE կառուցում է երկու բաշխում՝

• l(x): այն պարամետրերի խտությունը, որոնք հանգեցնում են ավելի լավ արդյունքների (մի որոշ շեմից ցածր):
• g(x): այն պարամետրերի խտությունը, որոնք հանգեցնում են վատ արդյունքների:

Հետո ընտրվում են այն պարամետրերը, որոնք առավելագույնն են դարձնում l(x)/g(x) հարաբերակցությունը, ինչը բարձրացնում է արդյունքի բարելավման հավանականությունը:

Այսպիսով, դա թույլ է տալիս արդյունավետորեն ուսումնասիրել հիպերպարամետրերի տարածքը, հատկապես երբ այն բարձրաչափ է կամ պարունակում է կատեգորիկ պարամետրեր:

Օրինակ՝ Optuna-ում օգտագործման համար՝

import optuna

def objective(trial):
    x = trial.suggest_float('x', -10, 10)
    return (x - 2) ** 2

study = optuna.create_study(sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=100)
print(study.best_params)

Այսպիսով, TPE-ն արդյունավետ և ճկուն bayesian օպտիմալացման մեթոդ է, որը հիմնված է պարամետրերի բաշխումների մոդելավորման վրա, այլ ոչ թե ուղղակիորեն մոտեցում է կորուստային ֆունկցիային։