Was ist probabilistische Programmierung (PyMC, Stan, NumPyro)?

Probabilistische Programmierung ist ein Ansatz des Programmierens, der es ermöglicht, statistische Modelle zu beschreiben und automatisch Rückschlüsse auf Wahrscheinlichkeitsverteilungen von Parametern basierend auf Daten zu ziehen. Frameworks wie PyMC, Stan, NumPyro bieten Werkzeuge zur Definition von Modellen mit Unsicherheiten und zur Durchführung bayesscher Inferenz.

Die Grundidee ist, anstelle fester Werte für Modellparameter Wahrscheinlichkeitsverteilungen zu verwenden, und dann mit Methoden wie MCMC (Markov Chain Monte Carlo) oder variationalen Verfahren die a posteriori Verteilungen der Parameter zu berechnen.

Dies ist besonders nützlich bei Aufgaben, bei denen es wichtig ist, Unsicherheiten zu berücksichtigen, z.B. bei bayesscher Optimierung (BO), Gaußschen Prozessen (GP) und anderen Bereichen des maschinellen Lernens.

Beispiel: In PyMC kann man ein Modell mit einer Normalverteilung für einen Parameter und beobachteten Daten definieren und dann die Verteilung des Parameters erhalten:

import pymc as pm
import numpy as np

with pm.Model() as model:
    mu = pm.Normal('mu', mu=0, sigma=1)
    obs = pm.Normal('obs', mu=mu, sigma=1, observed=np.array([1.0, 2.0, 1.5]))
    trace = pm.sample()

pm.plot_posterior(trace, var_names=['mu'])

Auf diese Weise vereinfacht probabilistische Programmierung den Aufbau komplexer statistischer Modelle und die Gewinnung von Erkenntnissen unter Berücksichtigung der Unsicherheit.