Mi az a Bayes-i optimalizálás és az akvizíciós függvények (EI, UCB, PI)?

Bayes-i optimizáció egy olyan módszer a bonyolult függvények optimalizálására, amelyek értékelése drága vagy nincs analitikus formájuk. Olyan valószínűségi modellt (általában Gauss-folyamatot) használ, amely közelíti a célfüggvényt, és kiválasztja a következő értékelési pontokat, egyensúlyt teremtve a felfedezés (exploration) és a kihasználás (exploitation) között.

Az acquisition functions (beszerzési függvények) olyan függvények, amelyek a jelenlegi modell alapján meghatározzák, hol érdemes a következő kísérletet elvégezni. Ezek a modell előrejelzéseit egy kiválasztási kritériummá alakítják.

Fő acquisition functions:

• Expected Improvement (EI) — várható javulás a jelenlegi legjobb értékhez képest. Olyan pontokat választ, ahol várhatóan a legnagyobb javulás történik.

• Upper Confidence Bound (UCB) — ötvözi az átlagos előrejelzést és a bizonytalanságot (szórást) egy koefficiens segítségével, lehetővé téve a felfedezés és a kihasználás közötti egyensúlyt. Általában a képlet: UCB(x) = μ(x) + κ·σ(x), ahol κ egy paraméter.

• Probability of Improvement (PI) — annak a valószínűsége, hogy az x pontban a függvény meghaladja a jelenlegi legjobb eredményt.

Így a Bayesian Optimization hatékonyan keresi a függvény maximumát vagy minimumát, a modellt és az acquisition function-t használva a legígéretesebb pontok kiválasztására a értékeléshez.