V čom sa VI líši od MCMC z hľadiska trade-off?

Variational Inference (VI) a Markov Chain Monte Carlo (MCMC) sú dva hlavné prístupy na približovanie zložitých posterior rozdelení v bayesovských modeloch, a líšia sa kompromisom medzi presnosťou a výpočtovou efektívnosťou.

• MCMC poskytuje asymptoticky presné vzorky z posterior rozdelenia, ale často vyžaduje veľa výpočtového času a môže zle škálovať na veľké dáta alebo zložité modely.

• VI premieňa úlohu približovania na optimalizáciu, čo je zvyčajne rýchlejšie a škálovateľnejšie, ale aproximácia môže byť menej presná a závisí od vybranej rodiny variacionálnych rozdelení.

Takže kompromis je nasledovný:

Metóda	Presnosť	Výpočtová efektívnosť	Škálovateľnosť
MCMC	Vysoká (asymptoticky presná)	Nízka (nákladné výpočty)	Obmedzená
VI	Stredná (závisí od aproximácie)	Vysoká (rýchla optimalizácia)	Dobrá

Výber medzi nimi závisí od požiadaviek na presnosť a zdroje. Pri úlohách s obmedzeným časom a veľkými dátami sa často volí VI, a pre presnejšie analýzy MCMC.