Что такое Bayesian optimization для HPO?

Bayesian optimization — это метод оптимизации, который используется для эффективного поиска оптимальных гиперпараметров модели (HPO — Hyperparameter Optimization).

Идея в том, что вместо перебора всех возможных комбинаций гиперпараметров (что может быть очень дорого) алгоритм строит вероятностную модель зависимости качества модели от гиперпараметров. Обычно используется гауссовский процесс или другие модели для оценки функции отклика.

Затем на основе этой модели выбираются наиболее перспективные гиперпараметры для следующего запуска, что позволяет быстрее найти хорошие настройки.

Примерный процесс:

1. Выбираются начальные точки (наборы гиперпараметров) и оценивается качество модели.
2. Строится вероятностная модель (surrogate model) функции качества.
3. С помощью acquisition function выбирается следующий набор гиперпараметров для проверки.
4. Повторяется, пока не достигнут критерий остановки.

Это позволяет значительно сократить количество запусков модели по сравнению с перебором или случайным поиском.