Kas yra probabilistinis programavimas (PyMC, Stan, NumPyro)?

Tikimybiškai programuoti – tai programavimo požiūris, leidžiantis aprašyti statistinius modelius ir automatiškai atlikti išvadas apie parametrų tikimybių pasiskirstymus remiantis duomenimis. Framework'ai kaip PyMC, Stan, NumPyro siūlo įrankius modeliams su neapibrėžtumais apibrėžti ir atlikti bayesinius išvedimus.

Pagrindinė idėja – vietoje fiksuotų modelio parametrų reikšmių priskirti tikimybių pasiskirstymus, o tada, naudojant tokias metodikas kaip MCMC (Markov Chain Monte Carlo) arba variacinius metodus, apskaičiuoti parametrų posterior pasiskirstymus.

Tai ypač naudinga užduotyse, kur svarbu atsižvelgti į neapibrėžtumą, pavyzdžiui, bayesinėje optimizacijoje (BO), Gauso procesuose (GP) ir kituose mašininio mokymosi srityse.

Pavyzdys: PyMC galima apibrėžti modelį su normalia paskirstymu parametrui ir stebimais duomenimis, tada gauti parametrų paskirstymą:

import pymc as pm
import numpy as np

with pm.Model() as model:
    mu = pm.Normal('mu', mu=0, sigma=1)
    obs = pm.Normal('obs', mu=mu, sigma=1, observed=np.array([1.0, 2.0, 1.5]))
    trace = pm.sample()

pm.plot_posterior(trace, var_names=['mu'])

Šiuo būdu, tikimybinis programavimas supaprastina sudėtingų statistinių modelių kūrimą ir išvadų gavimą atsižvelgiant į neapibrėžtumą.