Какво е Байесова оптимизация и функции за придобиване (EI, UCB, PI)?

Байесовата оптимизация е метод за оптимизиране на сложни функции, които са скъпи за изчисление или нямат аналитична форма. Той използва вероятностен модел (обикновено гаусов процес) за приближаване на целевата функция и избира следващите точки за оценка, балансирайки между изследване (exploration) и използване (exploitation).

Функциите за придобиване са функции, които въз основа на текущия модел определят къде да се проведе следният експеримент. Те преобразуват предсказанията на модела в критерий за избор на точка.

Основни функции за придобиване:

• Expected Improvement (EI) — очаквано подобрение в сравнение с текущата най-добра стойност. Избира точки, където се очаква максимално подобрение.

• Upper Confidence Bound (UCB) — комбинира средната прогноза и несигурността (дисперсията) с коефициент, позволявайки баланс между изследване и използване. Формулата обикновено е: UCB(x) = μ(x) + κ·σ(x), където κ е параметър.

• Probability of Improvement (PI) — вероятността, че в точка x функцията ще превъзхожда текущия най-добър резултат.

По този начин байесовата оптимизация ефективно търси максимум или минимум на функция, използвайки модел и функция за придобиване за избор на най-перспективните точки за оценка.