Какова роль text-encoder (CLIP) в Stable Diffusion?

Text-encoder в Stable Diffusion, например CLIP, играет ключевую роль в преобразовании текстового описания (промпта) в векторное представление, которое модель может использовать для генерации изображения.

CLIP обучен сопоставлять текст и изображения в общее эмбеддинг-пространство, что позволяет Stable Diffusion понимать смысл текста и направлять процесс диффузии для создания соответствующего визуального контента.

Проще говоря, text-encoder переводит человеческий язык в числовой формат, который затем служит условием для генеративной модели, обеспечивая связь между текстом и изображением.

Пример использования CLIP в Stable Diffusion:

text_embedding = clip_model.encode_text(tokenized_prompt)
image = diffusion_model.generate(condition=text_embedding)