Kas yra Bayesian optimizacija ir įsigijimo funkcijos (EI, UCB, PI)?

Bayesinė optimizacija yra metodas sudėtingų funkcijų optimizavimui, kurios yra brangios skaičiuoti arba neturi analitinės formos. Ji naudoja tikimybės modelį (dažniausiai Gauss'o procesą), kad apytikriai įvertintų tikslinę funkciją ir pasirinktų kitus įvertinimo taškus, subalansuodama tyrimą (exploration) ir išnaudojimą (exploitation).

Įsigijimo funkcijos yra funkcijos, kurios, remiantis esamu modeliu, nustato, kur atlikti kitą eksperimentą. Jos paverčia modelio prognozes į kriterijų, pagal kurį pasirenkamas taškas.

Pagrindinės įsigijimo funkcijos:

• Expected Improvement (EI) — tikėtinas pagerėjimas, palyginti su dabartine geriausia verte. Pasirenka taškus, kur tikimasi maksimalaus pagerėjimo.

• Upper Confidence Bound (UCB) — sujungia vidutinę prognozę ir neapibrėžtumą (variaciją) su koeficientu, leidžiančiu subalansuoti tarp tyrimo ir išnaudojimo. Formulė dažniausiai yra: UCB(x) = μ(x) + κ·σ(x), kur κ yra parametras.

• Probability of Improvement (PI) — tikimybė, kad taške x funkcija viršys dabartinį geriausią rezultatą.

Šiuo būdu Bayesinė optimizacija efektyviai ieško funkcijos maksimumo arba minimumo, naudodama modelį ir įsigijimo funkciją, kad pasirinktų perspektyviausius taškus įvertinimui.