Qu'est-ce que la distillation par diffusion?

La distillation par diffusion est une méthode d'optimisation et d'accélération des modèles génératifs basés sur des processus de diffusion. Dans la modélisation de diffusion classique, la génération d'image se fait à travers de multiples itérations, en éliminant progressivement le bruit d'un bruit aléatoire vers l'image cible.

La distillation par diffusion consiste à approximer un processus de génération complexe et lent (avec un grand nombre d'étapes) par un modèle plus simple ou avec un nombre réduit d'étapes, tout en conservant la qualité du résultat. Cela est réalisé en entraînant un modèle "étudiant" qui apprend à imiter le comportement d'un modèle "enseignant" avec un nombre complet d'étapes, mais avec moins d'itérations.

Ainsi, la distillation par diffusion permet d'accélérer considérablement la génération d'images ou d'autres données, en réduisant les coûts computationnels, ce qui est important pour l'application pratique des modèles de diffusion dans les tâches de vision par ordinateur et d'IA générative.