Что такое NUTS и зачем его придумали?

NUTS (No-U-Turn Sampler) — это алгоритм для эффективного сэмплирования из сложных многомерных распределений в байесовском выводе. Он был разработан для улучшения классического метода Гамильтонова Монте-Карло (HMC).

Основная идея HMC — использовать градиенты лог-апостериорного распределения, чтобы предлагать новые точки сэмплирования, что позволяет быстрее исследовать пространство параметров по сравнению с простыми методами, например, Метрополисом-Гастингсом. Однако HMC требует ручной настройки параметров, таких как длина траектории и шаг интегрирования.

NUTS автоматически определяет оптимальную длину траектории, предотвращая «разворот» (U-turn) в пространстве параметров, что повышает эффективность и уменьшает необходимость ручной настройки. Это делает NUTS особенно полезным для моделей с большим числом параметров и сложной структурой.

Применение NUTS широко распространено в современных байесовских пакетах, таких как Stan и PyMC3, для построения и обучения сложных статистических моделей.