Jak działa dropout podczas treningu i inferencji?

Dropout to technika regularyzacji sieci neuronowych, która losowo "wyłącza" (zeruje) część neuronów podczas treningu, aby zapobiec przeuczeniu.

Podczas treningu:

• Dla każdego przykładu wejściowego losowo wyłącza się określony procent neuronów (np. 20-50%).
• To zmusza sieć, aby nie polegała na konkretnych neuronach i poprawia jej zdolność do generalizacji.

Podczas inferencji (predykcji):

• Dropout nie jest stosowany, wszystkie neurony są aktywne.
• Aby zrekompensować brak wyłączenia neuronów, wagi są skalowane (zazwyczaj mnożone przez prawdopodobieństwo włączenia neuronu), lub podczas treningu stosuje się skalowanie (inverted dropout).

W ten sposób dropout pomaga uczynić model bardziej odpornym i mniej podatnym na przeuczenie, ale podczas inferencji sieć działa w pełni bez losowych wyłączeń.