Что такое ControlNet и зачем нужны conditioning maps (depth, canny, pose)?

ControlNet — это архитектура, расширяющая возможности диффузионных моделей генерации изображений, позволяя более точно управлять процессом генерации с помощью дополнительных входных данных — conditioning maps. Эти карты служат в качестве направляющей информации, которая помогает модели создавать изображения, соответствующие заданным структурам или особенностям.

Основные типы conditioning maps:

• Depth map — карта глубины, указывающая расстояние до объектов в сцене. Позволяет модели учитывать трехмерную структуру и перспективу.
• Canny map — результат детектора границ Canny, выделяющий контуры объектов. Помогает сохранить форму и очертания при генерации.
• Pose map — карта позы, обычно представляющая скелет человека или животного. Используется для генерации изображений с заданной позой или положением тела.

Использование таких карт позволяет добиться более контролируемого и предсказуемого результата при генерации изображений, сохраняя при этом творческую свободу диффузионной модели.