Kas yra Bayesian optimizacija HPO?

Bayes optimizacija yra optimizacijos metodas, naudojamas efektyviai ieškoti modelio optimaliausių hiperparametrų (HPO — hiperparinklių optimizavimas).

Idėja ta, kad vietoj visų galimų hiperparametrų kombinacijų tikrinimo (kas gali būti labai brangu), algoritmas kuria tikimybinį modelį, apibūdinantį modelio kokybės priklausomybę nuo hiperparametrų. Paprastai naudojamas Gauso procesas arba kiti modeliai funkcijos atsako įvertinimui.

Tada, remiantis šiuo modeliu, pasirenkami perspektyviausi hiperparametrai kitam paleidimui, kas leidžia greičiau rasti gerus nustatymus.

Apytikslis procesas:

1. Pasirenkami pradinių taškų (hiperparametrų rinkinių) ir įvertinama modelio kokybė.
2. Sukuriamas tikimybinis modelis (surrogato modelis) apie kokybės funkciją.
3. Naudojant įsigijimo funkciją, pasirenkamas kitas hiperparametrų rinkinys testavimui.
4. Kartojama, kol pasiekiamas sustojimo kriterijus.

Tai leidžia žymiai sumažinti modelio paleidimų skaičių, palyginti su pilnu paieška ar atsitiktine paieška.