Cos'è l'ottimizzazione bayesiana e le funzioni di acquisizione (EI, UCB, PI)?

L'ottimizzazione bayesiana è un metodo per ottimizzare funzioni complesse, costose da valutare o prive di una forma analitica. Utilizza un modello probabilistico (solitamente un processo gaussiano) per approssimare la funzione obiettivo e seleziona i punti successivi per la valutazione, bilanciando esplorazione ed sfruttamento.

Le funzioni di acquisizione sono funzioni che, basandosi sul modello attuale, determinano dove condurre il prossimo esperimento. Trasformano le previsioni del modello in un criterio di scelta del punto.

Principali funzioni di acquisizione:

• Expected Improvement (EI) — miglioramento atteso rispetto al miglior valore attuale. Seleziona punti dove si prevede un miglioramento massimo.

• Upper Confidence Bound (UCB) — combina la previsione media e l'incertezza (varianza) con un coefficiente, permettendo di bilanciare tra esplorazione e sfruttamento. La formula è solitamente: UCB(x) = μ(x) + κ·σ(x), dove κ è un parametro.

• Probability of Improvement (PI) — probabilità che, nel punto x, la funzione superi il risultato migliore attuale.

In questo modo, l'ottimizzazione bayesiana cerca efficacemente il massimo o il minimo di una funzione, usando un modello e una funzione di acquisizione per selezionare i punti più promettenti per la valutazione.