Что такое Bayesian Optimization и acquisition functions (EI, UCB, PI)?

Bayesian Optimization — это метод оптимизации сложных функций, которые дорогие для вычисления или не имеют аналитической формы. Он использует вероятностную модель (обычно гауссовский процесс) для аппроксимации целевой функции и выбирает следующие точки для оценки, балансируя между исследованием (exploration) и использованием (exploitation).

Acquisition functions — это функции, которые на основе текущей модели определяют, где стоит провести следующий эксперимент. Они преобразуют предсказания модели в критерий выбора точки.

Основные acquisition functions:

• Expected Improvement (EI) — ожидаемое улучшение по сравнению с текущим лучшим значением. Выбирает точки, где ожидается максимальное улучшение.

• Upper Confidence Bound (UCB) — комбинирует среднее предсказание и неопределённость (дисперсию) с коэффициентом, позволяя балансировать между исследованием и использованием. Формула обычно: UCB(x) = μ(x) + κ·σ(x), где κ — параметр.

• Probability of Improvement (PI) — вероятность того, что в точке x функция превзойдёт текущий лучший результат.

Таким образом, Bayesian Optimization эффективно ищет максимум или минимум функции, используя модель и acquisition function для выбора наиболее перспективных точек для оценки.