Welke lagen in neurale netwerken gedragen zich anders tijdens training en inferentie (Dropout, BatchNorm, enz.)?

Sommige lagen van neurale netwerken gedragen zich anders tijdens de training (train) en inferentie (inference):

• Dropout: tijdens training schakelt het willekeurig een deel van de neuronen uit om overfitting te voorkomen, en tijdens inferentie zijn alle neuronen actief, waarbij de outputs worden geschaald om te compenseren.
• Batch Normalization (BatchNorm): tijdens training normaliseert het de inputs van de laag op basis van de huidige batch, waarbij de statistieken (gemiddelde en variantie) worden bijgewerkt, en tijdens inferentie gebruikt het de verzamelde statistieken voor stabiliteit.

Op deze manier passen deze lagen hun gedrag aan om een betere training en correcte werking van het model bij voorspellingen te garanderen.