Welche Schichten in neuronalen Netzen verhalten sich beim Training und bei der Inferenz unterschiedlich (Dropout, BatchNorm usw.)?

Einige Schichten neuronaler Netze verhalten sich während der Trainingsphase (train) und der Inferenzphase (inference) unterschiedlich:

• Dropout: Während des Trainings schaltet es zufällig einen Teil der Neuronen aus, um Überanpassung zu verhindern, und bei der Inferenz sind alle Neuronen aktiv, wobei die Ausgänge skaliert werden, um dies auszugleichen.
• Batch-Normalisierung (BatchNorm): Während des Trainings normalisiert es die Eingänge der Schicht anhand des aktuellen Batches und aktualisiert die Statistiken (Mittelwert und Varianz), während bei der Inferenz die gespeicherten Statistiken für Stabilität verwendet werden.

Auf diese Weise passen diese Schichten ihr Verhalten an, um eine bessere Ausbildung und eine korrekte Funktion des Modells bei Vorhersagen zu gewährleisten.