Difüzyon modellerinin arkasındaki matematiksel fikir nedir? Forward ve reverse süreçleri nedir?

Difüzyon modelleri, gürültülü bir durumdan verileri geri yüklemeyi öğrenen bir tür üretici modellerdir. Temel matematiksel fikir, orijinal verilerin, ileri süreçte (forward process) yavaş yavaş "gürültülenmesi" ve ardından eğitilmiş modelin, geri süreç (reverse process) öğrenerek verileri gürültüden geri kazanmasıdır.

İleri süreç — veriye ardışık olarak genellikle Gauss gürültüsü ekmek, her adımda. Sonuçta veriler neredeyse saf gürültü haline gelir. Bu süreç önceden belirlenir ve eğitilmez.

Geri süreç — öğrenilebilir stokastik bir süreçtir ve her adımda daha az gürültülü durumu geri yüklemeye çalışır, orijinal verilere doğru geri hareket eder. Model, verileri "temizlemek" için gürültüyü veya dağılım parametrelerini tahmin etmeyi öğrenir.

İşte ileri sürecin basitleştirilmiş bir formülü örneği:

[ q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1 - \beta_t} x_{t-1}, \beta_t I) ]

Burada (\beta_t) t adımındaki gürültü katsayısıdır.

Geri süreç şu şekilde modellenir:

[ p_\theta(x_{t-1} | x_t) ]

Burada (\theta), tahmin edilen ve gerçek gürültü arasındaki farkı minimize etmek için eğitilen sinir ağı parametreleridir.

Bu şekilde, difüzyon modelleri, gürültüyle başlayıp yapıyı kademeli olarak yeniden oluşturarak yüksek kaliteli görüntüler ve diğer veriler oluşturmayı öğrenir.