Ποιοι τύποι συνελίξεων γνωρίζετε (σταθερή, depthwise, separable, dilated, transposed, grouped); Ιδέες, πλεονεκτήματα και μειονεκτήματα κάθε ενός.

Στα συνελικτικά νευρωνικά δίκτυα (CNN) υπάρχουν διάφορα είδη συνελίξεων, καθένα με τα δικά του χαρακτηριστικά, πλεονεκτήματα και μειονεκτήματα:

1. Κανονική συνελίξη (Standard Convolution)

   • Εφαρμόζει ένα σύνολο φίλτρων σε όλους τους εισερχόμενους κανάλια ταυτόχρονα.
   • Πλεονεκτήματα: απλή και ευέλικτη, καλά μελετημένη.
   • Μειονεκτήματα: υψηλή υπολογιστική πολυπλοκότητα και αριθμός παραμέτρων.

2. Depthwise συνελίξη (βαθιά συνελίξη)

   • Κάθε φίλτρο εφαρμόζεται σε ένα κανάλι εισόδου ξεχωριστά.
   • Πλεονεκτήματα: σημαντικά μειώνει τον αριθμό παραμέτρων και υπολογισμών.
   • Μειονεκτήματα: δεν συνδυάζει πληροφορίες μεταξύ των καναλιών, γι' αυτό συχνά χρησιμοποιείται μαζί με pointwise συνελίξη.

3. Separable συνελίξη (διαχωρίσιμη συνελίξη)

   • Αποτελείται από μια depthwise συνελίξη, ακολουθούμενη από μια pointwise (1x1) συνελίξη.
   • Πλεονεκτήματα: αποδοτική σε παραμέτρους και υπολογισμούς, διατηρεί την ποιότητα.
   • Μειονεκτήματα: μπορεί να είναι λιγότερο εκφραστική από την κανονική συνελίξη.

4. Dilated συνελίξη (διασταλμένη συνελίξη)

   • Χρησιμοποιεί φίλτρα με διαστολές (dilation), αυξάνοντας το πεδίο αντίληψης χωρίς αύξηση των παραμέτρων.
   • Πλεονεκτήματα: επιτρέπει την ανίχνευση συμφραζομένων σε μεγάλη κλίμακα.
   • Μειονεκτήματα: μπορεί να οδηγήσει σε "τρυπημένη" αντίληψη και αρτεφακτά.

5. Transposed συνελίξη (αντίστροφη συνελίξη ή deconvolution)

   • Χρησιμοποιείται για την αύξηση της χωρικής ανάλυσης (upsampling).
   • Πλεονεκτήματα: επιτρέπει την εκπαίδευση παραμέτρων για την αύξηση του μεγέθους.
   • Μειονεκτήματα: μπορεί να προκαλέσει αρτεφακτά (π.χ., μοτίβο σκακιέρας).

6. Ομαδοποιημένη συνελίξη (Grouped Convolution)

   • Τα εισερχόμενα κανάλια χωρίζονται σε ομάδες, και η συνελίξη εφαρμόζεται ξεχωριστά σε κάθε ομάδα.
   • Πλεονεκτήματα: μειώνει τον αριθμό παραμέτρων και υπολογισμών, επιτρέπει την κατασκευή βαθύτερων δικτύων (π.χ., ResNeXt).
   • Μειονεκτήματα: περιορίζει την αλληλεπίδραση μεταξύ των ομάδων καναλιών.

Κάθε είδος συνελίξης επιλέγεται ανάλογα με την εργασία, τις απαιτήσεις απόδοσης και ακρίβειας. Για παράδειγμα, οι separable και depthwise συνελίξεις χρησιμοποιούνται ευρέως σε κινητά και ενσωματωμένα συστήματα για βελτιστοποίηση πόρων.