Hogyan működik a dropout a neurális hálózatokban?

A dropout egy regulárizációs technika a neurális hálózatokban, amely segít megelőzni a túlillesztést. Az edzés során véletlenszerűen kikapcsolódik (nullázódik) egy részük egy adott valószínűséggel (például 0,5). Ez arra készteti a hálózatot, hogy ne függjön túlzottan egyes neuronoktól, és robusztusabb jellemzőket tanuljon.

Hogyan működik:

• Minden edzési lépésben, minden neuron esetében, valószínűséggel p, a kimenete 0-ra változik.
• Ennek eredményeként a hálózat olyan lesz, mint egy több almodellből álló gyűjtemény.
• Teszteléskor a dropout nem alkalmazandó, de a neuronok súlyait skálázzák, hogy kompenzálják a kikapcsolást az edzés során.

Példa pseudokód:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Ez segít javítani a modell általánosítási képességét.