Ako funguje dropout v neurónových sieťach?

Dropout je technika regularizácie v neurónových sieťach, ktorá pomáha predchádzať preučeniu. Počas tréningu sa náhodne vypne (nastaví na nulu) časť neurónov s danou pravdepodobnosťou (napríklad 0,5). To núti sieť, aby sa príliš nezávisela od jednotlivých neurónov a učila sa odolnejšie vlastnosti.

Ako to funguje:

• Pri každom tréningovom kroku sa pre každý neurón, s pravdepodobnosťou p, jeho výstup nahradí nulou.
• Výsledkom je, že sieť sa stáva ako súbor rôznych podmodelov.
• Pri testovaní sa dropout neaplikuje, ale váhy neurónov sa škálujú, aby sa kompenzovalo vypnutie počas tréningu.

Príklad v pseudokóde:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Toto pomáha zlepšiť schopnosť modelu generalizovať.