Czym jest optymalizacja bayesowska dla HPO?

Optymalizacja bayesowska to metoda optymalizacji, która jest używana do skutecznego wyszukiwania optymalnych hiperparametrów modelu (HPO — Optymalizacja hiperparametrów).

Pomysł polega na tym, że zamiast przeszukiwać wszystkie możliwe kombinacje hiperparametrów (co może być bardzo kosztowne), algorytm tworzy probabilistyczny model zależności jakości modelu od hiperparametrów. Zazwyczaj używa się procesu Gaussa lub innych modeli do oceny funkcji odpowiedzi.

Następnie na podstawie tego modelu wybierane są najbardziej obiecujące hiperparametry do kolejnego uruchomienia, co pozwala szybciej znaleźć dobre ustawienia.

Przybliżony proces:

1. Wybór punktów początkowych (zestawów hiperparametrów) i ocena jakości modelu.
2. Tworzenie probabilistycznego modelu (modelu zastępczego) funkcji jakości.
3. Za pomocą funkcji akwizycji wybiera się kolejny zestaw hiperparametrów do sprawdzenia.
4. Powtarza się, aż zostanie osiągnięty kryterium zatrzymania.

To pozwala znacznie zmniejszyć liczbę uruchomień modelu w porównaniu do przeszukiwania pełnego lub losowego.