Ποιο είδος U-Net χρησιμοποιείται στο Stable Diffusion; Ποια είναι τα χαρακτηριστικά του σε σύγκριση με το συνηθισμένο U-Net;

Στο Stable Diffusion, χρησιμοποιείται μια τροποποιημένη έκδοση της αρχιτεκτονικής U-Net, προσαρμοσμένη για εργασίες διασποράς εικόνων.

Χαρακτηριστικά αυτής της U-Net σε σύγκριση με την κλασική:

• Εισερχόμενα δεδομένα: Αντί για κανονικές εικόνες, παρέχεται μια θορυβώδης εικόνα μαζί με ένα χρονικό βήμα διασποράς (επίπεδο θορύβου), το οποίο κωδικοποιείται και εισάγεται στο δίκτυο.
• Εισαγωγή χρόνου: Προστέθηκαν μηχανισμοί για την λήψη υπόψη του χρονικού βήματος (ενσωμάτωση χρόνου), που επιτρέπει στο μοντέλο να λαμβάνει υπόψη το βαθμό θορύβου.
• Χρήση προσοχής: Σε ορισμένα στρώματα της U-Net, προστέθηκαν μηχανισμοί προσοχής (self-attention), που βελτιώνουν την ικανότητα του μοντέλου να συλλαμβάνει παγκόσμιες εξαρτήσεις στην εικόνα.
• Τροποποιημένα μπλοκ: Αντί των τυπικών συνελικτικών μπλοκ, χρησιμοποιούνται ResNet μπλοκ με κανονικοποίηση και ενεργοποίηση, βελτιστοποιημένα για σταθερή εκπαίδευση.

Έτσι, η U-Net στο Stable Diffusion είναι μια εξειδικευμένη αρχιτεκτονική που συνδυάζει την κλασική δομή με πρόσθετους μηχανισμούς για εργασία με θόρυβο και χρονικά βήματα, κάτι που είναι κρίσιμο για μοντέλα διασποράς δημιουργίας εικόνων.