Что такое probabilistic programming (PyMC, Stan, NumPyro)?

Probabilistic programming — это подход к программированию, который позволяет описывать статистические модели и автоматически выполнять вывод вероятностных распределений параметров на основе данных. Фреймворки как PyMC, Stan, NumPyro предоставляют инструменты для определения моделей с неопределённостями и проведения байесовского вывода.

Основная идея — вместо фиксированных значений параметров модели задаются вероятностные распределения, а затем с помощью методов, таких как MCMC (Markov Chain Monte Carlo) или вариационные методы, вычисляются апостериорные распределения параметров.

Это особенно полезно в задачах, где важно учитывать неопределённость, например, в байесовской оптимизации (BO), гауссовских процессах (GP) и других областях машинного обучения.

Пример: в PyMC можно задать модель с нормальным распределением для параметра и наблюдаемыми данными, а затем получить распределение параметра:

import pymc as pm
import numpy as np

with pm.Model() as model:
    mu = pm.Normal('mu', mu=0, sigma=1)
    obs = pm.Normal('obs', mu=mu, sigma=1, observed=np.array([1.0, 2.0, 1.5]))
    trace = pm.sample()

pm.plot_posterior(trace, var_names=['mu'])

Таким образом, probabilistic programming упрощает построение сложных статистических моделей и получение выводов с учётом неопределённости.