Wat is Bayesian Optimization en acquisitiefuncties (EI, UCB, PI)?

Bayesiaanse optimalisatie is een methode voor het optimaliseren van complexe functies die duur zijn om te evalueren of geen analytische vorm hebben. Het gebruikt een probabilistisch model (meestal een Gaussiaans proces) om de doel-functie te benaderen en selecteert de volgende punten voor evaluatie, waarbij het een balans vindt tussen exploratie en exploitatie.

Aquisitiefuncties zijn functies die op basis van het huidige model bepalen waar het volgende experiment moet worden uitgevoerd. Ze zetten de voorspellingen van het model om in een criterium voor het kiezen van het punt.

Belangrijke aquisitiefuncties:

• Expected Improvement (EI) — verwachte verbetering ten opzichte van de huidige beste waarde. Kies punten waar de maximale verbetering wordt verwacht.

• Upper Confidence Bound (UCB) — combineert de gemiddelde voorspelling en de onzekerheid (variantie) met een coëfficiënt, waardoor een balans wordt gevonden tussen exploratie en exploitatie. De formule is meestal: UCB(x) = μ(x) + κ·σ(x), waarbij κ een parameter is.

• Probability of Improvement (PI) — de kans dat de functie op punt x de huidige beste uitkomst overtreft.

Op deze manier zoekt Bayesian Optimization effectief naar het maximum of minimum van een functie, door gebruik te maken van een model en een aquisitiefunctie om de meest veelbelovende punten voor evaluatie te selecteren.