Τι είναι ο πιθανοτικός προγραμματισμός (PyMC, Stan, NumPyro);

Ο πιθανοκρατικός προγραμματισμός είναι μια προσέγγιση στον προγραμματισμό που επιτρέπει την περιγραφή στατιστικών μοντέλων και την αυτόματη εκτέλεση συμπερασμάτων σχετικά με τις κατανομές πιθανοτήτων των παραμέτρων βάσει δεδομένων. Πλαίσια όπως το PyMC, Stan, NumPyro προσφέρουν εργαλεία για τον ορισμό μοντέλων με αβεβαιότητες και την εκτέλεση Bayesian συμπερασμάτων.

Η βασική ιδέα είναι ότι, αντί για σταθερές τιμές για τις παραμέτρους του μοντέλου, ανατίθενται κατανομές πιθανοτήτων, και στη συνέχεια, με μεθόδους όπως το MCMC (Markov Chain Monte Carlo) ή τις παραλλαγμένες μεθόδους, υπολογίζονται οι κατανομές μετάβασης των παραμέτρων.

Αυτό είναι ιδιαίτερα χρήσιμο σε εργασίες όπου είναι σημαντικό να λαμβάνεται υπόψη η αβεβαιότητα, π.χ., στην Bayesian βελτιστοποίηση (BO), τις Gaussian διαδικασίες (GP) και άλλους τομείς της μηχανικής μάθησης.

Παράδειγμα: στο PyMC, μπορεί να οριστεί ένα μοντέλο με μια κανονική κατανομή για μια παράμετρο και παρατηρούμενα δεδομένα, και στη συνέχεια να ληφθεί η κατανομή της παραμέτρου:

import pymc as pm
import numpy as np

with pm.Model() as model:
    mu = pm.Normal('mu', mu=0, sigma=1)
    obs = pm.Normal('obs', mu=mu, sigma=1, observed=np.array([1.0, 2.0, 1.5]))
    trace = pm.sample()

pm.plot_posterior(trace, var_names=['mu'])

Έτσι, ο πιθανοκρατικός προγραμματισμός απλοποιεί την κατασκευή σύνθετων στατιστικών μοντέλων και την εξαγωγή συμπερασμάτων λαμβάνοντας υπόψη την αβεβαιότητα.