O que é destilação por difusão?

A destilação por difusão é um método de otimização e aceleração de modelos generativos baseados em processos de difusão. No modelamento de difusão clássico, a geração de imagens ocorre através de múltiplas iterações, removendo gradualmente o ruído de um ruído aleatório até a imagem alvo.

A destilação por difusão consiste em que um processo complexo e lento de geração (com um grande número de passos) seja aproximado por um modelo mais simples ou com um menor número de passos, mantendo a qualidade do resultado. Isso é alcançado treinando um modelo "estudante" que aprende a imitar o comportamento de um modelo "professor" com um número completo de passos, mas com menos iterações.

Assim, a destilação por difusão permite acelerar significativamente a geração de imagens ou outros dados, reduzindo os custos computacionais, o que é importante para a aplicação prática de modelos de difusão em tarefas de visão computacional e IA generativa.