Что такое mean-field approximation?

Mean-field approximation — это метод приближения в статистической физике и машинном обучении, который упрощает сложные вероятностные модели с большим числом зависимых переменных. Идея в том, чтобы заменить взаимодействия между переменными средним эффектом, то есть считать, что каждая переменная взаимодействует с некоторым «средним полем», создаваемым остальными.

В контексте байесовских моделей и вариационного вывода mean-field approximation позволяет аппроксимировать сложное совместное распределение апостериорного распределения факторизованным распределением, где переменные считаются независимыми. Это значительно упрощает вычисления и позволяет эффективно находить приближённые решения.

Пример: в вариационном байесовском выводе мы ищем распределение q, которое факторизуется по переменным: q(x, y) = q(x) q(y), вместо сложного совместного распределения p(x, y | data). Это упрощение называется mean-field approximation.