O que é o ControlNet e para que servem os mapas de condicionamento (profundidade, canny, pose)?

O ControlNet é uma arquitetura que amplia as capacidades dos modelos de difusão para geração de imagens, permitindo um controle mais preciso do processo de geração através de entradas adicionais — mapas de condicionamento. Estes mapas servem como informações orientadoras que ajudam o modelo a criar imagens que correspondem às estruturas ou características especificadas.

Principais tipos de mapas de condicionamento:

• Mapa de profundidade — mapa que indica a distância até os objetos na cena. Permite que o modelo considere a estrutura tridimensional e a perspetiva.
• Mapa de Canny — resultado do detector de bordas Canny, destacando os contornos dos objetos. Ajuda a manter a forma e os contornos durante a geração.
• Mapa de pose — mapa de postura, geralmente representando o esqueleto de uma pessoa ou animal. Usado para gerar imagens com uma postura ou posição corporal específica.

O uso destes mapas permite obter resultados mais controlados e previsíveis na geração de imagens, mantendo ao mesmo tempo a liberdade criativa do modelo de difusão.