Was ist Diffusionsdestillation?

Diffusionsdestillation ist eine Methode zur Optimierung und Beschleunigung generativer Modelle auf Basis von Diffusionsprozessen. Bei der klassischen Diffusionsmodellierung erfolgt die Bildgenerierung durch viele Iterationen, bei denen Rauschen schrittweise aus einem zufälligen Rauschzustand zum Zielbild entfernt wird.

Diffusionsdestillation besteht darin, dass ein komplexer und langsamer Generationsprozess (mit einer großen Anzahl von Schritten) durch ein einfacheres Modell oder eine geringere Anzahl von Schritten angenähert wird, wobei die Qualität des Ergebnisses erhalten bleibt. Dies wird erreicht, indem ein "Schüler"-Modell trainiert wird, das das Verhalten eines "Lehrer"-Modells mit voller Schrittzahl imitiert, jedoch mit weniger Iterationen.

Auf diese Weise ermöglicht die Diffusionsdestillation eine erhebliche Beschleunigung der Bild- oder Daten-Generierung, was die Rechenkosten reduziert und für die praktische Anwendung von Diffusionsmodellen in Computer Vision und generativer KI wichtig ist.