Wat is empirisch Bayes?

Empirical Bayes is een benadering in de Bayesiaanse statistiek waarbij de hyperparameters van de a priori verdeling worden geschat op basis van de gegevens, in plaats van vooraf vastgesteld te worden. Met andere woorden, in plaats van een vaste prior, worden de parameters empirisch afgeleid uit de observaties.

In tegenstelling tot de klassieke Bayesiaanse aanpak, waarbij de prior onafhankelijk van de gegevens wordt vastgesteld, gebruikt empirical Bayes de gegevens om de prior af te stemmen, wat vaak de berekeningen vereenvoudigt en de aanpassingsvermogen van het model verhoogt.

Een voorbeeld van toepassing is in Gaussian Process (GP) en Bayesian Optimization (BO), waar de hyperparameters van de kern of het ruismodel worden aangepast op basis van de trainingsgegevens, wat de kwaliteit van voorspellingen en optimalisatie verbetert.

Op deze manier combineert empirical Bayes de voordelen van de Bayesiaanse aanpak met een praktische schatting van de parameters uit de gegevens.