Como treinam o LoRA para Stable Diffusion?

LoRA (Low-Rank Adaptation) é um método de ajuste fino de grandes modelos, como o Stable Diffusion, com custos computacionais mínimos e sem necessidade de re-treinamento completo.

O treino de LoRA para o Stable Diffusion geralmente ocorre assim:

1. Usa-se um modelo pré-treinado de Stable Diffusion.
2. Introduzem-se matrizes de baixo rank adicionais (adaptadores LoRA), que aprendem a modificar os pesos do modelo.
3. O treino ocorre apenas nesses adaptadores no conjunto de dados alvo (por exemplo, novos estilos ou objetos), enquanto os outros pesos do modelo permanecem congelados.

Isso permite adaptar rapidamente o modelo a novas tarefas ou estilos, usando menos dados e recursos.

O processo geralmente é assim:

• Preparar o conjunto de dados com as imagens e descrições necessárias.
• Inicializar os adaptadores LoRA.
• Treinar os adaptadores usando um otimizador, minimizando a função de perda.
• Salvar os adaptadores para uso posterior junto com o modelo principal.

Assim, LoRA permite ampliar eficazmente as capacidades do Stable Diffusion sem re-treinamento completo do modelo.