Čo je empirický Bayes?

Empirical Bayes je pristop v bayesovski statistiki, pri katerem se hiperparametri predhodnega porazdelitve ocenjujejo na podlagi podatkov, namesto da bi bili vnaprej določeni. Z drugimi besedami, namesto fiksnega priorja se njegovi parametri empirično prilagajajo na podlagi opazovanj.

Za razliko od klasičnega bayesovskega pristopa, kjer je prior določen neodvisno od podatkov, empirical Bayes uporablja podatke za nastavitev priorja, kar pogosto poenostavi izračune in poveča prilagodljivost modela.

Primer uporabe je v Gaussian Process (GP) in Bayesian Optimization (BO), kjer se hiperparametri jedra ali šumskega modela prilagajajo na podlagi učnih podatkov, s čimer se izboljšuje kakovost napovedi in optimizacije.

Tako empirical Bayes združuje prednosti bayesovskega pristopa s praktično oceno parametrov iz podatkov.