Stable Diffusion-un memarlığını necə dəyişdirmək olar ki, yalnız mətndən deyil, həm də əlavə girişlərdən (şəkillər, audio və s.) istifadə edərək nəsil gətirsin?

Stable Diffusion memarlığını yalnızca metnə əsaslanan deyil, həm də əlavə girişlər (məsələn, şəkillər, səs) əsasında da istehsal edə biləcək şəkildə dəyişdirmək üçün aşağıdakı yanaşmalardan istifadə etmək mümkündür:

1. Çox modalli şərtləndirmə: Yeganə mətn gömməsini şərt kimi istifadə etmək əvəzinə, digər modalların gömmələrini əlavə edin. Məsələn, şəkillər üçün ayrı kodlayıcılar (məsələn, CNN və ya ViT) və səs üçün (məsələn, səs spektrogramları ilə CNN və ya transformatorlar) istifadə etmək, bu məlumatları vektor təmsillərinə çevirmək.

2. Gömme birləşdirmə: Müxtəlif modallardan alınan gömmələr (konsentrasiya, cəm, diqqət) tək bir şərt vektorunda birləşdirilə bilər və bu vektor diffuziya modelinə daxil edilir.

3. UNet memarlığının dəyişdirilməsi: Stable Diffusion-da istifadə olunan UNet memarlığında, yeni şərtləri nəzərə alan əlavə qatlar və ya diqqət mexanizmləri əlavə edin. Məsələn, hər növ şərt üçün cross-attention qatlarından istifadə edin.

4. Çox modalli məlumatlar ilə təlim: Uğurlu nəsil üçün, modelin hər nümunədə mətn, şəkil, səs və s. olan məlumat dəstində təlim keçməsi vacibdir ki, model müxtəlif modallıqları əlaqələndirməyi öyrənsin.

Bu şəkildə, memarlıq çox modallı olur və yalnız mətnə deyil, həm də digər giriş məlumatlarına əsaslanaraq şəkillər yarada bilir.