Jak funguje dropout v neuronových sítích?

Dropout je technika regularizace v neuronových sítích, která pomáhá předcházet přeučení. Během tréninku je náhodně "vypnuta" (nulová) část neuronů s danou pravděpodobností (například 0,5). To nutí síť, aby nebyla příliš závislá na jednotlivých neuronech a učila se odolnější rysy.

Jak to funguje:

• Při každém tréninkovém kroku je pro každý neuron s pravděpodobností p jeho výstup nahrazen nulou.
• Výsledkem je, že síť se stává jakýmsi souborem různých podmodelů.
• Při testování se dropout nepoužívá, ale váhy neuronů jsou škálovány, aby se kompenzovalo vypnutí během tréninku.

Příklad v pseudokódu:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

To pomáhá zlepšit schopnost modelu generalizovat.