Čo je Bayesian optimalizácia pre HPO?

Bayesovská optimalizácia je metóda optimalizácie, ktorá sa používa na efektívne hľadanie optimálnych hyperparametrov modelu (HPO — Optimalizácia hyperparametrov).

Myšlienka je, že namiesto prehľadávania všetkých možných kombinácií hyperparametrov (čo môže byť veľmi nákladné), algoritmus vytvára pravdepodobnostný model závislosti kvality modelu od hyperparametrov. Zvyčajne sa používa Gaussov proces alebo iné modely na hodnotenie funkcie odozvy.

Potom sú na základe tohto modelu vybrané najperspektívnejšie hyperparametre pre ďalšie spustenie, čo umožňuje rýchlejšie nájsť dobré nastavenia.

Približný proces:

1. Výber počiatočných bodov (súborov hyperparametrov) a hodnotenie kvality modelu.
2. Vytvorenie pravdepodobnostného modelu (surrogačného modelu) funkcie kvality.
3. Pomocou akvizičnej funkcie sa vyberie ďalší súbor hyperparametrov na testovanie.
4. Opakuje sa, kým sa nedosiahne kritérium zastavenia.

Toto umožňuje významne znížiť počet spustení modelu v porovnaní s prehľadávaním alebo náhodným hľadaním.