Co je LoRA a proč funguje (hypotéza nízkého řádu)?

LoRA (Low-Rank Adaptation) je metoda jemného doladění velkých jazykových modelů (LLM), která umožňuje efektivně přizpůsobit model novým úkolům s minimálními zdroji.

Myšlenka je založena na hypotéze nízkého řádu: změny vah velkého modelu během adaptace lze přibližně reprezentovat nízkorangovými maticemi. Namísto aktualizace všech parametrů modelu LoRA přidává malé nízkorangové matice ke stávajícím vahám a učí se pouze tyto.

To výrazně snižuje počet trénovatelných parametrů a paměť potřebnou k uložení adaptovaného modelu, přičemž zachovává kvalitu a flexibilitu ladění.

Přibližně to funguje takto:

# Předpokládejme, že W je původní matice vah
# LoRA přidává dvě matice A a B nízkého řádu r
# Aktualizované váhy: W' = W + B @ A

# Během tréninku jsou aktualizovány pouze A a B, W zůstává pevné

Tímto způsobem LoRA umožňuje rychle a efektivně přizpůsobit velké modely bez nutnosti úplného přeškolení.