¿Qué es LoRA y por qué funciona (hipótesis de rango bajo)?

LoRA (Low-Rank Adaptation) es un método de ajuste fino de grandes modelos de lenguaje (LLM) que permite adaptar eficazmente el modelo a nuevas tareas con mínimos recursos.

La idea se basa en la hipótesis de bajo rango: los cambios en los pesos de un modelo grande durante la adaptación pueden aproximarse mediante matrices de bajo rango. En lugar de actualizar todos los parámetros del modelo, LoRA añade pequeñas matrices de bajo rango a los pesos existentes, entrenando solo esas matrices.

Esto reduce significativamente la cantidad de parámetros entrenables y la memoria necesaria para almacenar el modelo adaptado, manteniendo la calidad y flexibilidad del ajuste.

Aproximadamente, esto es así:

# Supongamos que W es la matriz de pesos original
# LoRA añade dos matrices A y B de bajo rango r
# Pesos actualizados: W' = W + B @ A

# Durante el entrenamiento, solo se actualizan A y B, mientras que W permanece fija

De esta manera, LoRA permite adaptar rápida y eficazmente grandes modelos sin necesidad de un reentrenamiento completo.