Ce este Optimizarea Bayesiană și funcțiile de achiziție (EI, UCB, PI)?

Optimizarea Bayesiană este o metodă de optimizare a funcțiilor complexe, care sunt costisitoare de evaluat sau nu au o formă analitică. Utilizează un model probabilistic (de obicei un proces gaussian) pentru a aproxima funcția țintă și selectează următoarele puncte pentru evaluare, echilibrând între explorare și exploatare.

Funcțiile de achiziție sunt funcții care, pe baza modelului actual, determină unde să se realizeze următorul experiment. Ele transformă predicțiile modelului într-un criteriu pentru alegerea punctului.

Funcții principale de achiziție:

• Expected Improvement (EI) — îmbunătățirea așteptată comparativ cu cea mai bună valoare actuală. Alege puncte unde se prevede o îmbunătățire maximă.

• Upper Confidence Bound (UCB) — combină media predicției și incertitudinea (varianța) cu un coeficient, permițând echilibrarea între explorare și exploatare. Formula este de obicei: UCB(x) = μ(x) + κ·σ(x), unde κ este un parametru.

• Probability of Improvement (PI) — probabilitatea ca, în punctul x, funcția să depășească rezultatul cel mai bun actual.

Astfel, optimizarea bayesiană caută eficient maximul sau minimul funcției, folosind un model și o funcție de achiziție pentru a selecta cele mai promițătoare puncte pentru evaluare.