Šta je Bayesova optimizacija i funkcije akvizicije (EI, UCB, PI)?

Bayesijanska optimizacija je metoda za optimizaciju složenih funkcija koje su skupe za izračunavanje ili nemaju analitički oblik. Koristi probabilistički model (obično Gaussov proces) za približavanje ciljne funkcije i bira sledeće tačke za procenu, balansirajući između istraživanja (exploration) i iskorišćenja (exploitation).

Funkcije za sticanje su funkcije koje na osnovu trenutnog modela određuju gde treba sprovesti sledeći eksperiment. One pretvaraju predviđanja modela u kriterijum za izbor tačke.

Glavne funkcije za sticanje:

• Expected Improvement (EI) — očekivano poboljšanje u poređenju sa trenutnom najboljom vrednošću. Biraju tačke gde se očekuje maksimalno poboljšanje.

• Upper Confidence Bound (UCB) — kombinuje prosečno predviđanje i neizvesnost (varijansu) sa koeficijentom, omogućavajući balansiranje između istraživanja i iskorišćenja. Formula je obično: UCB(x) = μ(x) + κ·σ(x), gde je κ parametar.

• Probability of Improvement (PI) — verovatnoća da će funkcija u tački x prevazići trenutni najbolji rezultat.

Na ovaj način, Bayesian Optimization efikasno traži maksimum ili minimum funkcije koristeći model i funkciju sticanja za izbor najperspektivnijih tačaka za procenu.