Cos'è la programmazione probabilistica (PyMC, Stan, NumPyro)?

La programmazione probabilistica è un approccio alla programmazione che consente di descrivere modelli statistici e di eseguire automaticamente inferenze sulle distribuzioni di probabilità dei parametri basandosi sui dati. Framework come PyMC, Stan, NumPyro offrono strumenti per definire modelli con incertezze e condurre inferenze bayesiane.

L’idea principale è che, invece di valori fissi per i parametri del modello, si assegnano distribuzioni di probabilità e, tramite metodi come MCMC (Markov Chain Monte Carlo) o metodi variationali, si calcolano le distribuzioni a posteriori dei parametri.

Questo è particolarmente utile in compiti in cui è importante considerare l’incertezza, ad esempio nell’ottimizzazione bayesiana (BO), nei processi gaussiani (GP) e in altri campi dell’apprendimento automatico.

Esempio: in PyMC, si può definire un modello con una distribuzione normale per un parametro e dati osservati, e poi ottenere la distribuzione del parametro:

import pymc as pm
import numpy as np

with pm.Model() as model:
    mu = pm.Normal('mu', mu=0, sigma=1)
    obs = pm.Normal('obs', mu=mu, sigma=1, observed=np.array([1.0, 2.0, 1.5]))
    trace = pm.sample()

pm.plot_posterior(trace, var_names=['mu'])

In questo modo, la programmazione probabilistica semplifica la costruzione di modelli statistici complessi e l’ottenimento di inferenze considerando l’incertezza.