Ce este programarea probabilistică (PyMC, Stan, NumPyro)?

Programarea probabilistică este o abordare a programării care permite descrierea modelelor statistice și efectuarea automată a inferențelor asupra distribuțiilor de probabilitate ale parametrilor pe baza datelor. Framework-uri precum PyMC, Stan, NumPyro oferă instrumente pentru definirea modelelor cu incertitudini și realizarea inferenței bayesiene.

Ideea principală este că, în loc de valori fixe pentru parametrii modelului, se atribuie distribuții de probabilitate, iar apoi, folosind metode precum MCMC (Markov Chain Monte Carlo) sau metode variationale, se calculează distribuțiile a posteriori ale parametrilor.

Acest lucru este deosebit de util în sarcini în care este important să se țină cont de incertitudine, de exemplu, în optimizarea bayesiană (BO), procesele gaussiene (GP) și alte domenii ale învățării automate.

Exemplu: în PyMC, se poate defini un model cu o distribuție normală pentru un parametru și date observate, apoi se obține distribuția parametrului:

import pymc as pm
import numpy as np

with pm.Model() as model:
    mu = pm.Normal('mu', mu=0, sigma=1)
    obs = pm.Normal('obs', mu=mu, sigma=1, observed=np.array([1.0, 2.0, 1.5]))
    trace = pm.sample()

pm.plot_posterior(trace, var_names=['mu'])

Astfel, programarea probabilistică simplifică construirea modelelor statistice complexe și obținerea de inferențe ținând cont de incertitudine.