Mis on Bayesian optimeerimine HPO jaoks?

Bayes optimeerimine on optimeerimismeetod, mida kasutatakse mudeli optimaalseimate hüperparameetrite (HPO — Hüperparameetrite optimeerimine) tõhusaks otsimiseks.

Idee seisneb selles, et kõigi võimalike hüperparameetrite kombinatsioonide üle otsimise asemel (mis võib olla väga kulukas) loob algoritm tõenäosusliku mudeli mudeli kvaliteedi sõltuvusest hüperparameetritest. Tavaliselt kasutatakse selleks Gaussi protsessi või muid mudeleid vastusfunktsiooni hindamiseks.

Seejärel valitakse selle mudeli põhjal järgmise katse jaoks kõige perspektiivikamad hüperparameetrid, mis võimaldab kiiremini leida häid seadistusi.

Hinnanguline protsess:

1. Valitakse alguspunktid (hüperparameetrite kogumid) ja hinnatakse mudeli kvaliteeti.
2. Koostatakse tõenäosuslik mudel (asendusmudel) kvaliteedi funktsioonist.
3. Kasutades omandamisfunktsiooni, valitakse järgmine hüperparameetrite kogum testimiseks.
4. Korratakse kuni peatamise kriteeriumi saavutamiseni.

See võimaldab märkimisväärselt vähendada mudeli käivitamiste arvu võrreldes täieliku otsingu või juhusliku otsinguga.