Które warstwy w sieciach neuronowych zachowują się inaczej podczas treningu i inferencji (Dropout, BatchNorm itp.)?

Niektóre warstwy sieci neuronowych zachowują się inaczej na etapach uczenia (train) i inferencji (inference):

• Dropout: podczas uczenia losowo wyłącza część neuronów, aby zapobiec nadmiernemu dopasowaniu, a podczas inferencji wszystkie neurony są aktywne, a wyjścia są skalowane w celu kompensacji.
• Normalizacja partii (BatchNorm): podczas uczenia normalizuje wejścia warstwy na podstawie bieżącej partii, aktualizując statystyki (średnią i wariancję), a podczas inferencji korzysta z zgromadzonych statystyk dla stabilności.

W ten sposób te warstwy dostosowują swoje zachowanie, aby zapewnić lepsze uczenie i poprawne działanie modelu podczas predykcji.