Τι είναι ένα bottleneck στρώμα και για ποιο λόγο χρησιμοποιείται;

Το στρώμα bottleneck είναι ένα στρώμα σε ένα νευρωνικό δίκτυο, συνήθως με μικρότερο αριθμό νευρώνων σε σύγκριση με τα προηγούμενα και επόμενα στρώματα. Ο κύριος στόχος του είναι να συμπιέσει τις πληροφορίες, να αναδείξει τα πιο σημαντικά χαρακτηριστικά και να μειώσει τη διαστατικότητα των δεδομένων.

Στο πλαίσιο των συνελικτικών νευρωνικών δικτύων (CNN), τα στρώματα bottleneck χρησιμοποιούνται συχνά για:

• Μείωση του υπολογιστικού φόρτου μέσω της μείωσης του αριθμού των παραμέτρων.
• Βελτίωση της γενικευτικής ικανότητας του μοντέλου, αποτρέποντας την υπερεκπαίδευση.
• Αναδείξτε μια συμπαγή αναπαράσταση των χαρακτηριστικών, που είναι χρήσιμη για τα επόμενα στρώματα.

Παράδειγμα: στην αρχιτεκτονική ResNet, τα στρώματα bottleneck αποτελούνται από μια ακολουθία από 1x1, 3x3 και πάλι 1x1 συνελικτικά, όπου τα πρώτα και τα τελευταία 1x1 μειώνουν και στη συνέχεια αποκαθιστούν το μέγεθος των χαρακτηριστικών, ενώ το στρώμα 3x3 επεξεργάζεται την συμπιεσμένη αναπαράσταση.