Jak funguje dropout při tréninku a inferenci?

Dropout je technika regularizace neuronových sítí, která náhodně (nulováním) vypíná část neuronů během tréninku, aby zabránila přeučení.

Během tréninku:

• Pro každý vstupní příklad je náhodně vypnuto určité procento neuronů (například 20-50%).
• To nutí síť, aby nezávisela na konkrétních neuronech, a zlepšuje její schopnost generalizace.

Během inference (předpovědi):

• Dropout se nepoužívá, všechny neurony jsou aktivní.
• Aby se kompenzovalo chybějící vypínání neuronů, váhy se škálují (obvykle se násobí pravděpodobností aktivace neuronu), nebo se během tréninku používá škálování (inverted dropout).

Tímto způsobem Dropout pomáhá udělat model odolnější a méně náchylný k přeučení, ale během inference síť funguje plně bez náhodného vypínání.