¿Qué es la programación probabilística (PyMC, Stan, NumPyro)?

La programación probabilística es un enfoque de programación que permite describir modelos estadísticos y realizar automáticamente inferencias sobre distribuciones de probabilidad de parámetros basándose en datos. Frameworks como PyMC, Stan, NumPyro ofrecen herramientas para definir modelos con incertidumbres y realizar inferencias bayesianas.

La idea principal es que, en lugar de valores fijos para los parámetros del modelo, se asignan distribuciones de probabilidad, y luego, mediante métodos como MCMC (Markov Chain Monte Carlo) o métodos variacionales, se calculan las distribuciones a posteriori de los parámetros.

Esto es especialmente útil en tareas donde es importante considerar la incertidumbre, por ejemplo, en optimización bayesiana (BO), procesos gaussianos (GP) y otros campos del aprendizaje automático.

Ejemplo: en PyMC, se puede definir un modelo con una distribución normal para un parámetro y datos observados, y luego obtener la distribución del parámetro:

import pymc as pm
import numpy as np

with pm.Model() as model:
    mu = pm.Normal('mu', mu=0, sigma=1)
    obs = pm.Normal('obs', mu=mu, sigma=1, observed=np.array([1.0, 2.0, 1.5]))
    trace = pm.sample()

pm.plot_posterior(trace, var_names=['mu'])

De esta manera, la programación probabilística simplifica la construcción de modelos estadísticos complejos y la obtención de inferencias considerando la incertidumbre.