Qual é a ideia matemática por trás dos modelos de difusão? O que são o processo forward e reverse?

Os modelos de difusão são uma classe de modelos generativos que aprendem a restaurar dados a partir de um estado ruidoso. A principal ideia matemática é que os dados originais são gradualmente "ruídos" no processo forward, e depois o modelo treinado aprende o processo inverso para restaurar os dados a partir do ruído.

Processo forward — é a adição sequencial de ruído aos dados, geralmente gaussiano, em cada passo. No final, os dados tornam-se quase ruído puro. Este processo é definido antecipadamente e não é treinado.

Processo reverse — é um processo estocástico treinável que tenta restaurar um estado menos ruidoso em cada passo, movendo-se de volta para os dados originais. O modelo aprende a prever o ruído ou os parâmetros da distribuição para "limpar" os dados gradualmente.

Exemplo de fórmula simplificada do processo forward:

[ q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1 - \beta_t} x_{t-1}, \beta_t I) ]

donde (\beta_t) é o coeficiente de ruído no passo t.

O processo reverse é modelado como:

[ p_\theta(x_{t-1} | x_t) ]

onde (\theta) são os parâmetros da rede neural, treinados para minimizar a diferença entre o ruído previsto e o real.

Dessa forma, os modelos de difusão aprendem a gerar dados, começando com ruído e restaurando gradualmente a estrutura, o que permite criar imagens de alta qualidade e outros dados.