O que é ELBO e por que o maximizam?

ELBO (Limite Inferior de Evidência) é uma estimativa inferior do logaritmo da verosimilhança marginal dos dados na inferência variacional. Em tarefas de inferência bayesiana, onde o cálculo exato da distribuição posterior não é possível, o ELBO serve como função objetivo para otimizar a distribuição aproximada.

Por que maximizar o ELBO:

• Maximizar o ELBO é equivalente a minimizar a divergência KL entre a distribuição aproximada e a verdadeira distribuição posterior.
• Isso permite encontrar a aproximação mais próxima da verdadeira distribuição posterior.
• O ELBO fornece um equilíbrio entre a precisão da aproximação e a complexidade do modelo.

No contexto de Processos Gaussianos (GP) e Otimização Bayesiana (BO), maximizar o ELBO ajuda a treinar modelos de forma eficiente e a fazer previsões considerando a incerteza, melhorando a qualidade da otimização e da generalização.