Что такое Score-based SDE и как они связаны с DDPM?

Score-based SDE (Stochastic Differential Equations) — это подход к генеративному моделированию, основанный на стохастических дифференциальных уравнениях, которые постепенно добавляют шум к данным и обучаются восстанавливать их, используя градиент логарифма плотности (score function).

Связь с DDPM (Denoising Diffusion Probabilistic Models):

• DDPM — частный случай score-based моделей, где процесс диффузии дискретен и основан на последовательном добавлении гауссовского шума.
• Score-based SDE обобщают этот подход, формулируя диффузию как непрерывный стохастический процесс.

Основная идея — обучить модель предсказывать score (градиент логарифма вероятности) для зашумлённых данных, что позволяет затем с помощью обратного процесса (обратного SDE) генерировать новые образцы из распределения данных.

Это мощный метод для генерации изображений и других данных, объединяющий теорию стохастических процессов и глубокое обучение.