O que é o Bayes empírico?

Empirical Bayes é uma abordagem na estatística bayesiana, na qual os hiperparâmetros da distribuição a priori são estimados com base nos dados, em vez de serem definidos previamente. Ou seja, em vez de um prior fixo, seus parâmetros são ajustados empiricamente a partir das observações.

Ao contrário da abordagem bayesiana clássica, onde o prior é definido independentemente dos dados, o empirical Bayes usa os dados para ajustar o prior, o que muitas vezes simplifica os cálculos e aumenta a adaptabilidade do modelo.

Um exemplo de aplicação é em Gaussian Process (GP) e Bayesian Optimization (BO), onde os hiperparâmetros do núcleo ou do modelo de ruído são ajustados com base nos dados de treinamento, melhorando a qualidade das previsões e da otimização.

Dessa forma, o empirical Bayes combina as vantagens da abordagem bayesiana com uma avaliação prática dos parâmetros a partir dos dados.