HPO uchun Bayesian optimallashtirish nima?

Bayesian optimizatsiya — bu modelning eng yaxshi gipermetrlari (HPO — Gipermetrlarni optimallashtirish) uchun samarali qidiruv usuli.

G'oyasi shundan iboratki, barcha mumkin bo'lgan gipermetrlari kombinatsiyalarini qidirish o'rniga (bu juda qimmatga tushishi mumkin), algoritm gipermetrlarga bog'liqlikning ehtimollik modelini quradi. Odatda, javob funktsiyasini baholash uchun Gaussian jarayon yoki boshqa modellar ishlatiladi.

Keyin, bu model asosida, keyingi ishga tushirish uchun eng istiqbolli gipermetrlari tanlanadi, bu esa yaxshi sozlamalarni tezroq topishga imkon beradi.

Taxminiy jarayon:

1. Dastlabki nuqtalar (gipermetrlari to'plamlari) tanlanadi va model sifati baholanadi.
2. Sifat funktsiyasining ehtimollik modeli (surroqat modeli) quriladi.
3. Acquisition funktsiyasi yordamida, tekshirish uchun keyingi gipermetrlari to'plami tanlanadi.
4. To'xtash mezoni bajarilmaguncha takrorlanadi.

Bu, modelni ishga tushirishlar sonini sezilarli darajada kamaytiradi, qidiruv yoki tasodifiy qidiruv bilan solishtirganda.