Mis on bottleneck kiht ja milleks seda kasutatakse?

Bottleneck kiht on kiht närvivõrgus, tavaliselt väiksema neuroni arvuga võrreldes eelnevate ja järgnevate kihtidega. Selle peamine ülesanne on teavet tihendada, esile tõsta kõige olulisemad tunnused ja vähendada andmete mõõtmeid.

Konvolutsiooniliste närvivõrkude (CNN) kontekstis kasutatakse bottleneck kihte sageli selleks, et:

• Vähendada arvutuskoormust, vähendades parameetrite arvu.
• Parandada mudeli üldistamisvõimet, vältides üleõppimist.
• Esile tõsta kompaktne tunnuste esitlus, mis on kasulik järgnevatele kihtidele.

Näide: ResNet arhitektuuris koosnevad bottleneck kihid järjestusest 1x1, 3x3 ja uuesti 1x1 konvolutsioonidest, kus esimesed ja viimased 1x1 konvolutsioonid vähendavad ja seejärel taastavad tunnuste suuruse, samas kui 3x3 kiht töötleb tihendatud esitlust.