Povězte mi o ControlNet a LoRA. K čemu slouží a jak jsou uspořádány?

ControlNet a LoRA jsou metody doladění a řízení generativních modelů, zejména v oblasti počítačového vidění a generování obrázků.

ControlNet

ControlNet je architektura, která přidává další kontrolovaný vstup k již natrénovanému modelu (například Stable Diffusion). Umožňuje řídit generování obrázků pomocí dalších podmínek (například kontur, póz, hloubkových map), přičemž zachovává sílu a kvalitu základního modelu.

• Na co to je? Pro přesnější řízení procesu generování bez nutnosti úplného přeškolení modelu.
• Jak to funguje? ControlNet přidává paralelní síť, která zpracovává řídící data a ovlivňuje vrstvy hlavního modelu.

LoRA (Low-Rank Adaptation)

LoRA je efektivní metoda doladění velkých modelů, která aktualizuje pouze malý počet parametrů reprezentovaných ve formě nízkorangových matic.

• Na co to je? Umožňuje rychle a s malými zdroji přizpůsobit velké modely novým úkolům nebo stylům.
• Jak to funguje? Místo změny všech vah modelu LoRA přidává malé adaptivní vrstvy s nízkým řádem, které se trénují, zatímco hlavní váhy zůstávají zamrzlé.

Tyto metody společně umožňují flexibilně a efektivně ladit generativní modely pro specifické úkoly a podmínky, zlepšují kvalitu a ovladatelnost generace.