Mely rétegek viselkednek eltérően a tanulás és az inference során (Dropout, BatchNorm stb.)?

Néhány neurális háló réteg másképp viselkedik a tanulási (train) és az inferencia (inference) szakaszában:

• Dropout: tanulás közben véletlenszerűen kikapcsol egy része a neuronoknak, hogy elkerülje a túlillesztést, az inference során pedig minden neuron aktív, és a kimenetek skálázódnak a kompenzáció érdekében.
• Batch Normalization (BatchNorm): tanulás közben normalizálja a réteg bemeneteit a jelenlegi batch alapján, frissítve a statisztikákat (átlag és szórás), míg inference során a felhalmozott statisztikákat használja a stabilitás érdekében.

Így ezek a rétegek alkalmazkodnak a viselkedésükkel, hogy jobb tanulást és helyes működést biztosítsanak a modell predikciói során.