Что такое diffusion distillation?

Diffusion distillation — это метод оптимизации и ускорения генеративных моделей на основе диффузионных процессов. В классическом диффузионном моделировании генерация изображения происходит через множество итераций, постепенно удаляя шум из случайного шума к целевому изображению.

Diffusion distillation заключается в том, что сложный и медленный процесс генерации (с большим числом шагов) аппроксимируется более простой моделью или меньшим числом шагов, сохраняя качество результата. Это достигается путем обучения "студентской" модели, которая учится имитировать поведение "учительской" модели с полным числом шагов, но с меньшим числом итераций.

Таким образом, diffusion distillation позволяет значительно ускорить генерацию изображений или других данных, снижая вычислительные затраты, что важно для практического применения диффузионных моделей в задачах компьютерного зрения и генеративного ИИ.