Hogyan működik a dropout az edzés és az inference során?

A Dropout egy regulárizációs technika a neurális hálózatokban, amely véletlenszerűen kikapcsol (nulláz) egy része a neuronoknak az edzés során, hogy megakadályozza a túlillesztést.

Az edzés során:

• Minden bemeneti példához véletlenszerűen kikapcsol egy meghatározott százalékát a neuronoknak (például 20-50%).
• Ez arra készteti a hálózatot, hogy ne függjön bizonyos neuronoktól, és javítja az általánosító képességét.

Az inferencia (jóslás) során:

• A Dropout nem alkalmazott, minden neuron aktív.
• A neuronok kikapcsolásának hiányát úgy kompenzálják, hogy a súlyokat skálázzák (általában a neuron aktiválási valószínűségével szorozva), vagy a tréning során skálázást alkalmaznak (invertált dropout).

Így a Dropout segít, hogy a modell robusztusabb legyen és kevésbé hajlamos a túlillesztésre, de az inferencia során a hálózat teljes kapacitással működik, véletlenszerű kikapcsolások nélkül.