Povedzte nám o Dropout: ako funguje počas tréningu a čo sa s ním deje pri inferencii?

Dropout je technika regularizácie neurónových sietí, ktorá pomáha predchádzať preučeniu. Počas tréningu sa náhodne "vypne" (zruší) časť neurónov s danou pravdepodobnosťou (napríklad 0,5), čo núti sieť, aby nebola príliš závislá od jednotlivých znakov a zlepšila schopnosť generalizácie.

Počas inferencie (použitia modelu) je Dropout vypnutý a všetky neuróny sa používajú. Aby sa kompenzoval efekt nulovania počas tréningu, sa váhy neurónov škálujú (zvyčajne sa násobia pravdepodobnosťou zachovania neurónu), aby sa zachovala očakávaná hodnota aktivácií.

Takto Dropout funguje ako spôsob náhodného "orezu" siete počas tréningu, a pri inferencii model funguje plne, využívajúc všetky neuróny.