Wat is MCMC en welke methoden (Metropolis-Hastings, Gibbs, HMC)?

MCMC (Markov Chain Monte Carlo) is een klasse algoritmen voor het genereren van steekproeven uit complexe verdelingen, vooral wanneer directe berekeningen onmogelijk zijn. Het bouwt een Markov-keten die na verloop van tijd convergeert naar de doelverdeling.

Belangrijkste methoden van MCMC:

• Metropolis-Hastings: basisalgoritme dat kandidaten voor de volgende toestand genereert en deze accepteert met een bepaalde waarschijnlijkheid, wat zorgt voor convergentie naar de gewenste verdeling.

• Gibbs Sampling: een bijzonder geval van Metropolis-Hastings, waarbij elke parameter achtereenvolgens wordt bijgewerkt op basis van de voorwaardelijke verdeling, terwijl de andere parameters vast blijven. Vooral effectief als de voorwaardelijke verdelingen bekend en eenvoudig zijn.

• Hamiltonian Monte Carlo (HMC): gebruikt de gradiënten van de logaritme van de doelverdeling en de fysieke interpretatie van Hamilton-dynamica om het parameterruimte efficiënter te verkennen, waardoor willekeurige wandelingen worden verminderd en de convergentie wordt versneld.

Deze methoden worden veel gebruikt in Bayesian inferentie, Gaussian-processen en Bayesian-optimisatie om complexe posterior verdelingen te evalueren.