Как обучават LoRA за Stable Diffusion?

LoRA (Low-Rank Adaptation) е метод за фина настройка на големи модели като Stable Diffusion с минимални изчислителни разходи и без необходимост от пълно повторно обучение.

Обучението на LoRA за Stable Diffusion обикновено протича по следния начин:

1. Взема се предварително обучен модел на Stable Diffusion.
2. Въвеждат се допълнителни нискорангови матрици (адаптери LoRA), които учат да модифицират теглата на модела.
3. Обучението се извършва само върху тези адаптери върху целевия набор от данни (например, нови стилове или обекти), докато останалите тегла на модела остават замразени.

Това позволява бързо адаптиране на модела към нови задачи или стилове, използвайки по-малко данни и ресурси.

Обикновено процесът изглежда така:

• Подготовка на набора от данни с необходимите изображения и описания.
• Инициализация на адаптерите LoRA.
• Обучение на адаптерите с помощта на оптимизатор, минимизирайки функцията на загуба.
• Запазване на адаптерите за последващо използване заедно с основния модел.

По този начин LoRA позволява ефективно разширяване на възможностите на Stable Diffusion без пълно повторно обучение на цялата моделна мрежа.