Ako funguje dropout počas tréningu a inferencie?

Dropout je technika regularizácie neurónových sietí, ktorá náhodne (nastavením na nulu) vypína časť neurónov počas tréningu, aby zabránila preučeniu.

Počas tréningu:

• Pre každý vstupný príklad sa náhodne vypne určitý percento neurónov (napríklad 20-50%).
• To núti sieť, aby nezávisela od konkrétnych neurónov a zlepšuje jej schopnosť generalizácie.

Počas inferencie (predpovede):

• Dropout sa neaplikuje, všetky neuróny sú aktívne.
• Aby sa kompenzovalo chýbajúce vypínanie neurónov, váhy sa škálujú (zvyčajne sa násobia pravdepodobnosťou aktivácie neurónu), alebo sa počas tréningu používa škálovanie (inverted dropout).

Týmto spôsobom Dropout pomáha urobiť model odolnejším a menej náchylným na preučovanie, ale počas inferencie sieť funguje plne bez náhodného vypínania.