Qu'est-ce que les processus gaussiens et quelles fonctions kernel utilisent-ils?

Les processus de Gaussian (GP) sont une méthode bayésienne non paramétrique pour la régression et la classification, qui modélise la distribution des fonctions. GP définit une distribution sur les fonctions, où les valeurs en des points sont liées par une fonction de covariance (noyau).

Les principales fonctions noyau utilisées dans GP :

• Exponentielle carrée (RBF) : une fonction lisse, infiniment différentiable, qui établit une forte corrélation entre des points proches.
• Noyau de Matern : plus flexible, contrôle la douceur des fonctions via le paramètre ν.
• Noyau périodique : pour modéliser des fonctions périodiques.
• Noyau linéaire : pour des dépendances linéaires.

Le choix du noyau détermine les propriétés de la fonction approchée, comme la douceur, la périodicité, etc. En optimisation bayésienne, GP est souvent utilisé pour modéliser la fonction cible afin de choisir le prochain point à évaluer.