Wat is de mean-field benadering?

De mean-field benadering is een benaderingstechniek in de statistische fysica en machine learning die complexe probabilistische modellen met een groot aantal afhankelijke variabelen vereenvoudigt. Het idee is om de interacties tussen variabelen te vervangen door een gemiddeld effect, oftewel aan te nemen dat elke variabele interacteert met een 'gemiddeld veld' dat door de andere wordt gegenereerd.

In de context van Bayesiaanse modellen en variational inference maakt de mean-field benadering het mogelijk om een complex gezamenlijke verdeling te benaderen met een gefactoriseerde verdeling, waarbij de variabelen als onafhankelijk worden beschouwd. Dit vereenvoudigt de berekeningen aanzienlijk en maakt het mogelijk om efficiënte benaderde oplossingen te vinden.

Voorbeeld: bij variational Bayesiaanse inferentie zoeken we een verdeling q die gefactoriseerd is over de variabelen: q(x, y) = q(x) q(y), in plaats van de complexe gezamenlijke verdeling p(x, y | data). Deze vereenvoudiging wordt de mean-field benadering genoemd.