Ako trénujú LoRA pre Stable Diffusion?

LoRA (Low-Rank Adaptation) je metóda jemného doladenia veľkých modelov, ako je Stable Diffusion, s minimálnymi výpočtovými nákladmi a bez potreby úplného preškolenia.

Tréning LoRA pre Stable Diffusion zvyčajne prebieha takto:

1. Použije sa vopred natrénovaný model Stable Diffusion.
2. Zavádzajú sa ďalšie nízkorangové matice (adaptéry LoRA), ktoré sa učia upravovať váhy modelu.
3. Tréning prebieha iba na týchto adaptéroch na cieľovom dátovom súbore (napríklad nové štýly alebo objekty), zatiaľ čo ostatné váhy modelu zostávajú zamrznuté.

Toto umožňuje rýchlo prispôsobiť model novým úlohám alebo štýlom s menším množstvom dát a zdrojov.

Proces zvyčajne vyzerá takto:

• Príprava dátovej sady s potrebnými obrázkami a popismi.
• Inicializácia adaptérů LoRA.
• Tréning adaptérů pomocou optimalizátora, minimalizovaním funkcie straty.
• Uloženie adaptérů na neskoršie použitie spolu s hlavným modelom.

Týmto spôsobom LoRA umožňuje efektívne rozširovať schopnosti Stable Diffusion bez úplného preškolenia celého modelu.