O que é o LoRA e por que funciona (hipótese de baixo rank)?

LoRA (Low-Rank Adaptation) é um método de ajuste fino de grandes modelos de linguagem (LLM) que permite adaptar eficazmente o modelo a novas tarefas com recursos mínimos.

A ideia baseia-se na hipótese de baixo rank: as alterações nos pesos de um grande modelo durante a adaptação podem ser aproximadas por matrizes de baixo rank. Em vez de atualizar todos os parâmetros do modelo, o LoRA adiciona pequenas matrizes de baixo rank aos pesos existentes, treinando apenas essas.

Isto reduz significativamente o número de parâmetros treináveis e a memória necessária para armazenar o modelo adaptado, mantendo a qualidade e flexibilidade do ajuste.

Mais ou menos, funciona assim:

# Suponha que W seja a matriz de pesos original
# LoRA adiciona duas matrizes A e B de baixo rank r
# Pesos atualizados: W' = W + B @ A

# Durante o treino, apenas A e B são atualizadas, W permanece fixo

Desta forma, o LoRA permite adaptar rápida e eficientemente grandes modelos sem necessidade de re-treinamento completo.