Разкажете за ControlNet и LoRA. За какво са и как са устроени?

ControlNet и LoRA са методи за дообучаване и контрол на генеративни модели, особено в областта на компютърното зрение и генерирането на изображения.

ControlNet

ControlNet е архитектура, която добавя допълнителен контролируем вход към вече обучен модел (например, Stable Diffusion). Тя позволява насочване на генерирането на изображение чрез допълнителни условия (например, контури, пози, карти на дълбочина), като същевременно запазва мощта и качеството на базовия модел.

• За какво е? За по-точно управление на процеса на генериране без необходимост от пълно повторно обучение на модела.
• Как работи? ControlNet добавя паралелна мрежа, която обработва управляващите данни и влияе на слоевете на основния модел.

LoRA (Low-Rank Adaptation)

LoRA е ефективен метод за дообучаване на големи модели, който актуализира само малък брой параметри, представени под формата на нискорангови матрици.

• За какво е? Позволява бързо и с малки ресурси адаптиране на големи модели към нови задачи или стилове.
• Как работи? Вместо да променя всички тегла на модела, LoRA добавя малки адаптивни слоеве с нисък ранг, които се обучават, докато основните тегла остават замразени.

Заедно тези методи позволяват гъвкаво и ефективно настройване на генеративните модели за специфични задачи и условия, подобрявайки качеството и управляемостта на генерирането.