¿Qué es la Optimización Bayesiana y las funciones de adquisición (EI, UCB, PI)?

La optimización bayesiana es un método para optimizar funciones complejas que son costosas de evaluar o que no tienen una forma analítica. Utiliza un modelo probabilístico (generalmente un proceso gaussiano) para aproximar la función objetivo y selecciona los siguientes puntos para evaluar, equilibrando entre exploración y explotación.

Las funciones de adquisición son funciones que, basándose en el modelo actual, determinan dónde realizar el próximo experimento. Transforman las predicciones del modelo en un criterio para elegir el punto.

Funciones de adquisición principales:

• Expected Improvement (EI) — mejora esperada en comparación con el mejor valor actual. Elige puntos donde se espera una mejora máxima.

• Upper Confidence Bound (UCB) — combina la predicción media y la incertidumbre (varianza) con un coeficiente, permitiendo equilibrar entre exploración y explotación. La fórmula suele ser: UCB(x) = μ(x) + κ·σ(x), donde κ es un parámetro.

• Probability of Improvement (PI) — probabilidad de que en el punto x, la función supere el mejor resultado actual.

De esta manera, la optimización bayesiana busca eficazmente el máximo o mínimo de una función, usando un modelo y una función de adquisición para seleccionar los puntos más prometedores para evaluar.