Kokios sluoksniai neuroniniuose tinkluose elgiasi skirtingai mokymo ir inference metu (Dropout, BatchNorm ir kt.)?

Kai kurios neuroninių tinklų sluoksniai elgiasi skirtingai mokymo (train) ir inferencijos (inference) etapais:

• Dropout: mokymo metu atsitiktinai išjungia dalį neuronų, siekiant išvengti per didelio pritaikymo, o inferencijos metu visi neuronai yra aktyvūs, o išėjimai yra masteliai, kad kompensuotų.
• Batch Normalization (BatchNorm): mokymo metu normalizuoja sluoksnio įėjimus pagal esamą partiją, atnaujindama statistiką (vidurkį ir dispersiją), o inferencijos metu naudoja sukauptas statistikas stabilumui.

Taip šie sluoksniai pritaiko savo elgesį, kad užtikrintų geresnį mokymąsi ir teisingą modelio veikimą prognozavimo metu.