V čem se DiT (Diffusion Transformer) liší od U-Net v difuzi?

DiT (Diffusion Transformer) a U-Net jsou architektury používané v difuzních modelech pro generování obrázků, ale výrazně se liší strukturou a principy fungování.

• U-Net je konvoluční neuronová síť s symetrickou architekturou "kódovač-dekodač" s přeskočenými spojeními (skip connections). Dobře zachycuje lokální a kontextové znaky obrázku, což je důležité pro obnovu a generování detailů.

• DiT používá architekturu transformátoru, která pracuje s obrázkem jako s posloupností záplat (podobně jako Vision Transformer). To umožňuje lépe modelovat globální závislosti a kontext, což může zlepšit kvalitu generace a rozmanitost obrazů.

Hlavní rozdíly:

1. Typ architektury: U-Net — konvoluční, DiT — transformátor.
2. Zpracování dat: U-Net pracuje s celým obrázkem pomocí konvolucí, DiT rozděluje obrázek na záplaty a aplikuje mechanismy pozornosti.
3. Schopnosti: DiT lépe zachycuje globální vztahy, U-Net lokální detaily.

Příklad zjednodušené struktury DiT:

# Pseudokód pro DiT
záplaty = rozdělit_obrázek_na_záplaty(obrázek)
embeddingy = lineární_projekce(záplaty)
pro vrstvu v transformátorových vrstvách:
    embeddingy = self_attention(vrstva, embeddingy)
rekonstruovaný_obrázek = dekódovat_záplaty(embeddingy)

Tímto způsobem je DiT pokusem o využití výhod transformerů v difuzních modelech, zatímco U-Net zůstává klasickým a osvědčeným řešením s konvolučními sítěmi.