En quoi VI diffère-t-il de MCMC en termes de compromis?

L’inférence variationnelle (VI) et la chaîne de Markov Monte Carlo (MCMC) sont deux approches principales pour approximer des distributions a posteriori complexes dans les modèles bayésiens, et elles diffèrent par le compromis entre précision et efficacité computationnelle.

• MCMC fournit des échantillons asymptotiquement précis de la distribution a posteriori, mais nécessite souvent beaucoup de temps de calcul et peut mal se scaler avec de grands ensembles de données ou des modèles complexes.

• VI transforme la tâche d’approximation en une optimisation, ce qui est généralement plus rapide et plus scalable, mais l’approximation peut être moins précise et dépend de la famille de distributions variationnelles choisie.

Ainsi, le compromis est le suivant :

Méthode	Précision	Efficacité computationnelle	Scalabilité
MCMC	Élevée (asymptotiquement précise)	Faible (calculs coûteux)	Limitée
VI	Moyenne (dépend de l’approximation)	Élevée (optimisation rapide)	Bonne

Le choix entre eux dépend des exigences en termes de précision et de ressources. Pour des tâches avec un temps limité et de grands ensembles de données, on choisit souvent VI, et pour une analyse plus précise, MCMC.