Ποια είναι η διαφορά μεταξύ MobileNet v2 και v1 (αντιστραμμένα υπολείμματα);

Το MobileNet v2 διαφέρει από το v1 κυρίως με την εισαγωγή της έννοιας των "αντιστραμμένων υπολειμμάτων" με "γραμμικά στενά".

Στο MobileNet v1, χρησιμοποιούνταν κανονικές συνδέσεις υπολειμμάτων και βαθιές διαχωρίσιμες συσπάσεις, που ήδη μείωναν την υπολογιστική πολυπλοκότητα. Στο MobileNet v2, η αρχιτεκτονική σχεδιάζεται έτσι ώστε:

• Το κύριο μπλοκ είναι το "αντίστροφο υπολειμματικό μπλοκ": αρχικά γίνεται επέκταση του αριθμού των καναλιών με μια συσπάση 1x1 (pointwise convolution), στη συνέχεια μια βαθιά συσπάση, και στο τέλος μια συμπίεση πίσω σε μικρότερο αριθμό καναλιών.
• Οι συνδέσεις υπολειμμάτων εφαρμόζονται όχι στον επεκταμένο χώρο χαρακτηριστικών, αλλά στον συμπιεσμένο (στενό) χώρο, μειώνοντας τον αριθμό των παραμέτρων και αυξάνοντας την αποδοτικότητα.
• Χρησιμοποιείται ένας γραμμικός στενός (το τελευταίο στρώμα του μπλοκ δεν έχει ενεργοποίηση ReLU), για να αποφευχθεί η απώλεια πληροφοριών κατά τη συμπίεση των χαρακτηριστικών.

Αυτό επιτρέπει στο MobileNet v2 να είναι πιο αποδοτικό και ακριβές με τους ίδιους ή λιγότερους υπολογιστικούς πόρους σε σύγκριση με το v1.

Παράδειγμα δομής του μπλοκ MobileNet v2 (απλοποιημένο):

# Ψευδοκώδικας
εισροή -> 1x1 συσπάση (επεκτάσεις, ReLU6) -> βαθιά συσπάση (ReLU6) -> 1x1 συσπάση (προβολή, γραμμική) -> πρόσθεση υπολειμμάτων (αν οι διαστάσεις ταιριάζουν)