Hogyan tanítják a LoRA-t a Stable Diffusionhez?

A LoRA (Low-Rank Adaptation) egy módszer nagy modellek, például a Stable Diffusion finomhangolására minimális számítási költséggel és teljes újra tanítás nélkül.

A LoRA tanítása a Stable Diffusion esetében általában így történik:

1. Egy előzetesen betanított Stable Diffusion modellt veszünk.
2. Kiegészítő alacsony-rangú mátrixokat (LoRA adaptereket) vezetünk be, amelyek megtanulják módosítani a modell súlyait.
3. A tanítás csak ezeken az adaptereken történik a célzott adathalmazon (például új stílusokon vagy tárgyakon), miközben a modell többi súlya le van fagyasztva.

Ez lehetővé teszi, hogy a modellt gyorsan alkalmazzuk új feladatokra vagy stílusokra, kevesebb adat és erőforrás felhasználásával.

A folyamat általában így néz ki:

• A szükséges képekkel és leírásokkal ellátott adathalmaz előkészítése.
• A LoRA adapterek inicializálása.
• Az adapterek tanítása egy optimalizáló segítségével, a veszteségfüggvény minimalizálásával.
• Az adapterek mentése későbbi használatra a fő modellel együtt.

Így a LoRA hatékonyan bővíti a Stable Diffusion képességeit anélkül, hogy az egész modellt teljesen újra kellene tanítani.