Kaip mokosi Stable Diffusion modeliai?

Stabilios difuzijos modelių mokymas grindžiamas difuzijos procesais, kurie palaipsniui paverčia triukšmą į vaizdą. Pagrindiniai žingsniai:

1. Atvirkštinis difuzijos procesas: modelis išmoksta atkurti vaizdą iš triukšmingos versijos, palaipsniui pašalindamas triukšmą.
2. Mokymas dideliame duomenų rinkinyje: naudojami vaizdų ir tekstinių aprašymų poros, kad modelis galėtų generuoti vaizdus pagal tekstą.
3. Variaziniai autoenkodai (VAE) naudojami vaizdų suspaudimui į latentinę erdvę, kur vyksta difuzijos modelio mokymas.

Galutinis rezultatas, modelis išmoksta artinti duomenų paskirstymą ir gali generuoti naujus vaizdus, pradedant nuo triukšmo ir palaipsniui juos gerinant, sekant išmoktos difuzijos dinamiką.