Wat is probabilistische programmeren (PyMC, Stan, NumPyro)?

Probabilistisch programmeren is een benadering van programmeren waarmee statistische modellen kunnen worden beschreven en automatisch inferenties kunnen worden uitgevoerd over de waarschijnlijkheidsverdelingen van parameters op basis van gegevens. Frameworks zoals PyMC, Stan, NumPyro bieden tools voor het definiëren van modellen met onzekerheden en het uitvoeren van bayesiaanse inferentie.

Het belangrijkste idee is dat in plaats van vaste waarden voor modelparameters, probabilistische verdelingen worden toegewezen, en vervolgens met methoden zoals MCMC (Markov Chain Monte Carlo) of variatie-methoden, de a posteriori verdelingen van de parameters worden berekend.

Dit is vooral nuttig bij taken waar het belangrijk is om onzekerheid mee te nemen, bijvoorbeeld bij bayesiaanse optimalisatie (BO), Gauss-processen (GP) en andere gebieden van machine learning.

Voorbeeld: in PyMC kan een model worden gedefinieerd met een normale verdeling voor een parameter en geobserveerde gegevens, en vervolgens kan de verdeling van de parameter worden verkregen:

import pymc as pm
import numpy as np

with pm.Model() as model:
    mu = pm.Normal('mu', mu=0, sigma=1)
    obs = pm.Normal('obs', mu=mu, sigma=1, observed=np.array([1.0, 2.0, 1.5]))
    trace = pm.sample()

pm.plot_posterior(trace, var_names=['mu'])

Op deze manier vereenvoudigt probabilistische programmeren het bouwen van complexe statistische modellen en het verkrijgen van inferenties met inachtneming van onzekerheid.