Welche lernbaren Parameter gibt es in BatchNorm und wofür sind sie?

Im BatchNorm gibt es zwei lernbare Parameter:

1. Gamma (γ) — ein Skalierungsfaktor, der mit den normalisierten Daten multipliziert wird. Ermöglicht es dem Modell, die Amplitude der Aktivierungen nach der Normalisierung zu steuern.

2. Beta (β) — eine Verschiebung, die zu den normalisierten Daten nach der Skalierung hinzugefügt wird. Ermöglicht es dem Modell, die Verteilung der Aktivierungen zu verschieben.

Diese Parameter sind notwendig, damit das Modell nach der Normalisierung (die die Daten mit einem Mittelwert von null und einer Varianz von eins standardisiert) die Verteilung der Aktivierungen wiederherstellen oder anpassen kann, falls dies für das Training und die Erhöhung der Ausdruckskraft des Netzwerks erforderlich ist.