Kas ir Bayesian optimizācija un ieguves funkcijas (EI, UCB, PI)?

Bayesiskā optimizācija ir metode sarežģītu funkciju optimizēšanai, kuras ir dārgas aprēķināšanai vai kurām nav analītiskas formas. Tā izmanto varbūtības modeli (parasti Gauss procesu), lai aptuveni novērtētu mērķa funkciju un izvēlētos nākamos novērtējuma punktus, līdzsvarojot izpēti (exploration) un izmantošanu (exploitation).

Iegūšanas funkcijas ir funkcijas, kas, balstoties uz pašreizējo modeli, nosaka, kur veikt nākamo eksperimentu. Tās pārvērš modeļa prognozes kritērijā, pēc kura tiek izvēlēts punkts.

Galvenās iegūšanas funkcijas:

• Expected Improvement (EI) — gaidāms uzlabojums salīdzinājumā ar pašreizējo labāko vērtību. Izvēlas punktus, kuros sagaidāms maksimāls uzlabojums.

• Upper Confidence Bound (UCB) — apvieno vidējo prognozi un nenoteiktību (novirzi) ar koeficientu, ļaujot līdzsvarot izpēti un izmantošanu. Parasti formulas ir šādas: UCB(x) = μ(x) + κ·σ(x), kur κ ir parametrs.

• Probability of Improvement (PI) — varbūtība, ka x punktā funkcija pārspēs pašreizējo labāko rezultātu.

Tādējādi Bayesiskā optimizācija efektīvi meklē funkcijas maksimumu vai minimumu, izmantojot modeli un iegūšanas funkciju, lai izvēlētos visperspektīvākos punktus novērtēšanai.