Was ist Bayesian Optimization und Akquisitionsfunktionen (EI, UCB, PI)?

Bayessche Optimierung ist eine Methode zur Optimierung komplexer Funktionen, die teuer in der Berechnung sind oder keine analytische Form haben. Sie verwendet ein probabilistisches Modell (meist ein Gaußscher Prozess), um die Ziel-Funktion zu approximieren, und wählt die nächsten Punkte zur Bewertung aus, wobei sie zwischen Erforschung und Ausnutzung abwägt.

Beschaffungsfunktionen sind Funktionen, die auf Basis des aktuellen Modells bestimmen, wo das nächste Experiment durchgeführt werden soll. Sie wandeln die Vorhersagen des Modells in ein Kriterium zur Auswahl des Punktes um.

Hauptbeschaffungsfunktionen:

• Expected Improvement (EI) — erwartete Verbesserung im Vergleich zum aktuellen besten Wert. Wählt Punkte, bei denen eine maximale Verbesserung erwartet wird.

• Upper Confidence Bound (UCB) — kombiniert die durchschnittliche Vorhersage und die Unsicherheit (Varianz) mit einem Koeffizienten, der das Gleichgewicht zwischen Erforschung und Ausnutzung ermöglicht. Die Formel lautet in der Regel: UCB(x) = μ(x) + κ·σ(x), wobei κ ein Parameter ist.

• Probability of Improvement (PI) — Wahrscheinlichkeit, dass die Funktion an Punkt x den aktuellen besten Wert übertrifft.

Auf diese Weise sucht die bayessche Optimierung effizient das Maximum oder Minimum einer Funktion, indem sie ein Modell und eine Beschaffungsfunktion verwendet, um die vielversprechendsten Punkte zur Bewertung auszuwählen.