Co je to bayesovská optimalizace pro HPO?

Bayesovská optimalizace je metoda optimalizace, která se používá k efektivnímu hledání optimálních hyperparametrů modelu (HPO — Optimalizace hyperparametrů).

Myšlenka je, že místo prohledávání všech možných kombinací hyperparametrů (což může být velmi nákladné), algoritmus vytváří pravděpodobnostní model závislosti kvality modelu na hyperparametrech. Obvykle se používá Gaussův proces nebo jiné modely k hodnocení funkce odezvy.

Poté jsou na základě tohoto modelu vybrány nejperspektivnější hyperparametry pro další spuštění, což umožňuje rychlejší nalezení dobrých nastavení.

Přibližný proces:

1. Výběr počátečních bodů (sada hyperparametrů) a hodnocení kvality modelu.
2. Vytvoření pravděpodobnostního modelu (surrogačního modelu) funkce kvality.
3. Pomocí akviziční funkce se vybere další sada hyperparametrů k testování.
4. Opakuje se, dokud není splněn kritérium zastavení.

Toto umožňuje výrazně snížit počet spuštění modelu ve srovnání s prohledáváním nebo náhodným hledáním.