Czym jest probabilistyczne programowanie (PyMC, Stan, NumPyro)?

Programowanie probabilistyczne to podejście do programowania, które pozwala opisywać modele statystyczne i automatycznie wykonywać wnioski na podstawie rozkładów prawdopodobieństwa parametrów. Frameworki takie jak PyMC, Stan, NumPyro oferują narzędzia do definiowania modeli z niepewnościami i przeprowadzania wnioskowania bayesowskiego.

Główną ideą jest, że zamiast stałych wartości parametrów modelu, przypisuje się rozkłady prawdopodobieństwa, a następnie, za pomocą metod takich jak MCMC (Markov Chain Monte Carlo) lub metod wariacyjnych, oblicza się rozkłady a posteriori parametrów.

Jest to szczególnie przydatne w zadaniach, gdzie ważne jest uwzględnienie niepewności, na przykład w optymalizacji bayesowskiej (BO), procesach Gaussa (GP) i innych dziedzinach uczenia maszynowego.

Przykład: w PyMC można zdefiniować model z rozkładem normalnym dla parametru i obserwowanymi danymi, a następnie uzyskać rozkład parametru:

import pymc as pm
import numpy as np

with pm.Model() as model:
    mu = pm.Normal('mu', mu=0, sigma=1)
    obs = pm.Normal('obs', mu=mu, sigma=1, observed=np.array([1.0, 2.0, 1.5]))
    trace = pm.sample()

pm.plot_posterior(trace, var_names=['mu'])

W ten sposób programowanie probabilistyczne upraszcza budowę złożonych modeli statystycznych i uzyskiwanie wniosków z uwzględnieniem niepewności.