Что такое variational inference?

Variational inference (вариационный вывод) — это метод приближённого байесовского вывода, используемый для оценки сложных апостериорных распределений, которые трудно вычислить напрямую.

Идея в том, чтобы заменить истинное апостериорное распределение неизвестной формы на более простое параметрическое распределение из некоторого семейства (например, гауссовское), и подобрать параметры этого распределения так, чтобы оно было максимально близко к истинному (минимизируя дивергенцию Кульбака-Лейблера).

Это позволяет эффективно вычислять приближённые вероятности и делать выводы в моделях с большим числом параметров, где классические методы, такие как MCMC, слишком медленные.

В контексте Gaussian Processes (GP) и Bayesian Optimization (BO) вариационный вывод помогает аппроксимировать сложные распределения по функциям и гиперпараметрам, обеспечивая масштабируемость и эффективность.

Примерно процесс выглядит так:

1. Выбирается семейство вариационных распределений q(θ; φ).
2. Формулируется вариационная нижняя граница (ELBO).
3. Оптимизируются параметры φ для максимизации ELBO.

Таким образом, variational inference превращает задачу байесовского вывода в задачу оптимизации.