Ce este un strat de bottleneck și pentru ce este folosit?

Stratul bottleneck este un strat într-o rețea neuronală, de obicei cu un număr mai mic de neuroni comparativ cu straturile anterioare și ulterioare. Sarcina sa principală este de a comprima informația, de a evidenția cele mai importante caracteristici și de a reduce dimensionalitatea datelor.

În contextul rețelelor neuronale convoluționale (CNN), straturile bottleneck sunt adesea utilizate pentru:

• Reducerea sarcinii de calcul prin diminuarea numărului de parametri.
• Îmbunătățirea capacității de generalizare a modelului, prevenind supraînvățarea.
• Evidențierea unei reprezentări compacte a caracteristicilor, ceea ce este util pentru straturile următoare.

Exemplu: în arhitectura ResNet, straturile bottleneck constau dintr-o secvență de convoluții 1x1, 3x3 și din nou 1x1, unde primele și ultimele convoluții 1x1 reduc și apoi restabilesc dimensiunea caracteristicilor, în timp ce stratul 3x3 procesează reprezentarea comprimată.