Ktoré vrstvy v neurónových sieťach sa správajú odlišne počas tréningu a inference (Dropout, BatchNorm atď.)?

Niektoré vrstvy neurónových sietí sa správajú odlišne počas fázy učenia (train) a inference (inference):

• Dropout: počas učenia náhodne vypína časť neurónov, aby zabránila preučeniu, a pri inference sú všetky neuróny aktívne, pričom výstupy sa škálujú na kompenzáciu.
• Batch Normalization (BatchNorm): počas učenia normalizuje vstupy vrstvy na základe aktuálneho balíka, aktualizuje štatistiky (priemer a rozptyl), a pri inference používa zozbierané štatistiky pre stabilitu.

Týmto spôsobom tieto vrstvy prispôsobujú svoje správanie, aby zabezpečili lepšie učenie a správnu funkciu modelu pri predpovediach.