Расскажите про ControlNet и LoRA. Зачем они нужны и как устроены?

ControlNet и LoRA — это методы дообучения и управления генеративными моделями, особенно в области компьютерного зрения и генерации изображений.

ControlNet

ControlNet — это архитектура, которая добавляет дополнительный контролируемый вход к уже обученной модели (например, Stable Diffusion). Она позволяет направлять генерацию изображения с помощью дополнительных условий (например, контуров, поз, карт глубины), сохраняя при этом мощь и качество базовой модели.

• Зачем нужен: для более точного управления процессом генерации без необходимости полного переобучения модели.
• Как устроен: ControlNet добавляет параллельную сеть, которая обрабатывает управляющие данные и влияет на слои основной модели.

LoRA (Low-Rank Adaptation)

LoRA — метод эффективного дообучения больших моделей, который обновляет только небольшое количество параметров, представленных в виде низкоранговых матриц.

• Зачем нужен: позволяет быстро и с малыми ресурсами адаптировать большие модели под новые задачи или стили.
• Как устроен: вместо изменения всех весов модели, LoRA добавляет небольшие адаптационные слои с низким рангом, которые обучаются, а основные веса остаются замороженными.

Вместе эти методы позволяют гибко и эффективно настраивать генеративные модели для специфичных задач и условий, улучшая качество и управляемость генерации.