Jak lze upravit architekturu Stable Diffusion tak, aby generovala nejen podle textu, ale i podle dalších vstupů (obrázky, audio atd.)?

Pro úpravu architektury Stable Diffusion tak, aby generovala nejen na základě textu, ale také na základě dalších vstupů (například obrázků, zvuku), lze použít následující přístupy:

1. Multimodální podmínění: Místo jediného textového vnoření jako podmínky přidat vnoření jiných modalit. Například použít samostatné enkodéry pro obrázky (například CNN nebo ViT) a zvuk (například spektrogramy zvuku s CNN nebo transformátory), které tyto data převedou na vektorové reprezentace.

2. Spojení vnoření: Získané vnoření z různých modalit lze spojit (konkatenace, součet, pozornost) do jednoho vektorového podmínkového vektoru, který se předává do difuzního modelu.

3. Úprava architektury UNet: V architektuře UNet, používané v Stable Diffusion, přidat další vrstvy nebo mechanismy pozornosti, které zohledňují nové podmínky. Například použít vrstvy cross-attention pro každý typ podmínky.

4. Trénink s multimodálními daty: Pro úspěšnou generaci je nutné model trénovat na datové sadě, kde každý příklad obsahuje text, obrázek, zvuk atd., aby se model naučil spojovat různé modality.

Tímto způsobem se architektura stává multimodální, což umožňuje generovat obrázky s ohledem nejen na text, ale i na další vstupní data.