Jak działa dropout w sieciach neuronowych?

Dropout to technika regularyzacji w sieciach neuronowych, która pomaga zapobiec nadmiernemu dopasowaniu. Podczas treningu losowo wyłącza się (zeruje) część neuronów z określonym prawdopodobieństwem (np. 0,5). To zmusza sieć do niepolegania zbyt mocno na pojedynczych neuronach i uczy się bardziej odporne cechy.

Jak to działa:

• Na każdym kroku treningu, dla każdego neuronu, z prawdopodobieństwem p, jego wyjście jest zastępowane przez 0.
• W rezultacie sieć staje się jakby zbiorem różnych podmodeli.
• Podczas testowania, dropout nie jest stosowany, a wagi neuronów są skalowane, aby zrekompensować wyłączenie podczas treningu.

Przykład w pseudokodzie:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

To pomaga poprawić zdolność generalizacji modelu.