V čem se VI liší od MCMC z hlediska trade-off?

Variace inference (VI) a Markov Chain Monte Carlo (MCMC) jsou dva hlavní přístupy k aproximaci složitých posteriorních rozdělení v bayesovských modelech a liší se kompromisem mezi přesností a výpočetní efektivitou.

• MCMC poskytuje asymptoticky přesné vzorky z posteriorního rozdělení, ale často vyžaduje hodně výpočetního času a může špatně škálovat na velká data nebo složité modely.

• VI převádí úlohu aproximace na optimalizaci, což je obvykle rychlejší a škálovatelnější, ale aproximace může být méně přesná a závisí na zvolené rodině variacionálních rozdělení.

Takže kompromis je následující:

Metoda	Přesnost	Výpočetní efektivita	Škálovatelnost
MCMC	Vysoká (asymptoticky přesná)	Nízká (nákladné výpočty)	Omezená
VI	Střední (závisí na aproximaci)	Vysoká (rychlá optimalizace)	Dobrá

Výběr závisí na požadavcích na přesnost a zdroje. U úloh s omezeným časem a velkými daty se často volí VI, a pro přesnější analýzy MCMC.