Czym jest optymalizacja bayesowska i funkcje pozyskiwania (EI, UCB, PI)?

Optymalizacja bayesowska to metoda optymalizacji złożonych funkcji, które są kosztowne do oceny lub nie mają formy analitycznej. Używa modelu probabilistycznego (zwykle procesu Gaussa) do przybliżenia funkcji celu i wybiera kolejne punkty do oceny, balansując między eksploracją a eksploatacją.

Funkcje pozyskiwania to funkcje, które na podstawie aktualnego modelu określają, gdzie przeprowadzić kolejny eksperyment. Przekształcają przewidywania modelu w kryterium wyboru punktu.

Główne funkcje pozyskiwania:

• Expected Improvement (EI) — oczekiwana poprawa w porównaniu z obecnie najlepszą wartością. Wybiera punkty, w których oczekuje się maksymalnej poprawy.

• Upper Confidence Bound (UCB) — łączy średnią prognozę i niepewność (wariancję) z współczynnikiem, pozwalając na balansowanie między eksploracją a eksploatacją. Formuła zwykle wygląda tak: UCB(x) = μ(x) + κ·σ(x), gdzie κ jest parametrem.

• Probability of Improvement (PI) — prawdopodobieństwo, że w punkcie x funkcja przekroczy obecny najlepszy wynik.

W ten sposób optymalizacja bayesowska skutecznie poszukuje maksimum lub minimum funkcji, korzystając z modelu i funkcji pozyskiwania do wyboru najbardziej obiecujących punktów do oceny.