Mi az a Bayesian optimalizáció az HPO-hoz?

A Bayes-optimalizáció egy olyan optimalizációs módszer, amelyet a modell optimális hiperparamétereinek (HPO — Hyperparameter Optimization) hatékony keresésére használnak.

Az ötlet az, hogy ahelyett, hogy minden lehetséges hiperparaméter-kombinációt végigpróbálnánk (ami nagyon drága lehet), az algoritmus egy valószínűségi modellt épít a modell minőségének hiperparaméterekhez való függőségéről. Általában gauss-folyamatot vagy más modelleket használnak a válaszfüggvény értékelésére.

Ezután a modell alapján a legígéretesebb hiperparamétereket választják ki a következő futtatáshoz, ami gyorsabban segít jó beállításokat találni.

Körülbelüli folyamat:

1. Kezdeti pontok (hiperparaméter-készletek) kiválasztása és a modell minőségének értékelése.
2. Egy valószínűségi modell (surrogátmodell) építése a minőségfüggvényről.
3. Egy akvizíciós függvény segítségével kiválasztják a következő hiperparaméter-készletet a teszteléshez.
4. Addig ismétlik, amíg el nem érik a leállási kritériumot.

Ez jelentősen csökkenti a modell futtatásainak számát a teljes kereséshez vagy véletlenszerű kereséshez képest.