Co je empirický Bayes?

Empirical Bayes je přístup v bayesovské statistice, při kterém jsou hyperparametry předchozího rozdělení odhadovány na základě dat, místo toho, aby byly předem stanoveny. Jinými slovy, namísto pevného prioritu jsou jeho parametry empiricky upravovány z pozorování.

Na rozdíl od klasického bayesovského přístupu, kde je prior stanoven nezávisle na datech, empirický Bayes využívá data k nastavení prioritu, což často zjednodušuje výpočty a zvyšuje přizpůsobivost modelu.

Příklad použití je v Gaussian Process (GP) a Bayesian Optimization (BO), kde jsou hyperparametry jádra nebo šumového modelu upravovány na základě trénovacích dat, čímž se zlepšuje kvalita předpovědí a optimalizace.

Tímto způsobem empirický Bayes kombinuje výhody bayesovského přístupu s praktickým odhadem parametrů z dat.