Was ist empirischer Bayes?

Empirical Bayes ist ein Ansatz in der bayesianischen Statistik, bei dem die Hyperparameter der a priori-Verteilung anhand der Daten geschätzt werden, anstatt im Voraus festgelegt zu werden. Das heißt, anstelle eines festen Priors werden seine Parameter empirisch aus den Beobachtungen angepasst.

Im Gegensatz zum klassischen bayesianischen Ansatz, bei dem der Prior unabhängig von den Daten festgelegt wird, nutzt empirical Bayes die Daten, um den Prior anzupassen, was die Berechnungen oft vereinfacht und die Anpassungsfähigkeit des Modells erhöht.

Ein Anwendungsbeispiel ist in Gaussian Process (GP) und Bayesian Optimization (BO), wo die Hyperparameter des Kernels oder des Rauschmodells anhand der Trainingsdaten angepasst werden, um die Vorhersagequalität und die Optimierung zu verbessern.

Auf diese Weise kombiniert empirical Bayes die Vorteile des bayesianischen Ansatzes mit einer praktischen Schätzung der Parameter aus den Daten.