Wat is Bayesian optimalisatie voor HPO?

Bayesiaanse optimalisatie is een optimalisatiemethode die wordt gebruikt om efficiënt de optimale hyperparameters van het model te vinden (HPO — Hyperparameteroptimalisatie).

Het idee is dat in plaats van alle mogelijke combinaties van hyperparameters te doorzoeken (wat erg kostbaar kan zijn), het algoritme een probabilistisch model bouwt van de afhankelijkheid van de modelkwaliteit van de hyperparameters. Meestal wordt een Gaussian proces of andere modellen gebruikt om de responsefunctie te evalueren.

Vervolgens worden op basis van dit model de meest veelbelovende hyperparameters geselecteerd voor de volgende run, waardoor het sneller mogelijk is om goede instellingen te vinden.

Geschat proces:

1. Keuze van initiële punten (sets hyperparameters) en beoordeling van de modelkwaliteit.
2. Opbouw van een probabilistisch model (surrogaatmodel) van de kwaliteitsfunctie.
3. Met behulp van een acquisitiefunctie wordt de volgende set hyperparameters gekozen om te testen.
4. Herhaal totdat het stopcriterium is bereikt.

Dit maakt het mogelijk om het aantal modelruns aanzienlijk te verminderen in vergelijking met brute force of willekeurige zoekmethoden.