Které vrstvy v neuronových sítích se chovají odlišně při tréninku a inferenci (Dropout, BatchNorm atd.)?

Některé vrstvy neuronových sítí se chovají odlišně ve fázi učení (train) a inference (inference):

• Dropout: během učení náhodně vypíná část neuronů, aby zabránil přeučení, a při inference jsou všechny neurony aktivní, přičemž výstupy jsou škálovány pro kompenzaci.
• Normalizace dávky (BatchNorm): během učení normalizuje vstupy vrstvy podle aktuální dávky, aktualizuje statistiky (průměr a rozptyl), a při inference používá shromážděné statistiky pro stabilitu.

Tímto způsobem tyto vrstvy přizpůsobují své chování, aby zajistily lepší učení a správnou funkci modelu při předpovědích.