Что такое empirical Bayes?

Empirical Bayes — это подход в байесовской статистике, при котором гиперпараметры априорного распределения оцениваются на основе данных, а не задаются заранее. То есть, вместо фиксированного априора, его параметры подбираются эмпирически из наблюдений.

В отличие от классического байесовского подхода, где априор задаётся независимо от данных, empirical Bayes использует данные для настройки априора, что часто упрощает вычисления и повышает адаптивность модели.

Пример применения — в Gaussian Process (GP) и Bayesian Optimization (BO), где гиперпараметры ядра или шумовой модели подбираются на основе обучающих данных, улучшая качество предсказаний и оптимизации.

Таким образом, empirical Bayes сочетает преимущества байесовского подхода с практической оценкой параметров из данных.