Qu'est-ce que la programmation probabiliste (PyMC, Stan, NumPyro) ?

La programmation probabiliste est une approche de la programmation qui permet de décrire des modèles statistiques et d’effectuer automatiquement des inférences sur les distributions de probabilité des paramètres à partir de données. Des frameworks comme PyMC, Stan, NumPyro offrent des outils pour définir des modèles avec des incertitudes et effectuer des inférences bayésiennes.

L’idée principale est que, au lieu de valeurs fixes pour les paramètres du modèle, on attribue des distributions de probabilité, puis, à l’aide de méthodes telles que MCMC (Markov Chain Monte Carlo) ou des méthodes variationnelles, on calcule les distributions a posteriori des paramètres.

C’est particulièrement utile dans les tâches où il est important de prendre en compte l’incertitude, par exemple dans l’optimisation bayésienne (BO), les processus gaussiens (GP) et d’autres domaines de l’apprentissage automatique.

Exemple : dans PyMC, on peut définir un modèle avec une distribution normale pour un paramètre et des données observées, puis obtenir la distribution du paramètre :

import pymc as pm
import numpy as np

with pm.Model() as model:
    mu = pm.Normal('mu', mu=0, sigma=1)
    obs = pm.Normal('obs', mu=mu, sigma=1, observed=np.array([1.0, 2.0, 1.5]))
    trace = pm.sample()

pm.plot_posterior(trace, var_names=['mu'])

Ainsi, la programmation probabiliste facilite la construction de modèles statistiques complexes et l’obtention d’inférences en tenant compte de l’incertitude.