Hoe werkt dropout tijdens training en inferentie?

Dropout is een regularisatietechniek voor neurale netwerken die tijdens de training willekeurig (op nul zetten) een deel van de neuronen uitschakelt om overfitting te voorkomen.

Tijdens de training:

• Voor elk invoervoorbeeld wordt een bepaald percentage neuronen willekeurig uitgeschakeld (bijvoorbeeld 20-50%).
• Dit dwingt het netwerk om niet afhankelijk te zijn van specifieke neuronen en verbetert zijn generalisatievermogen.

Tijdens de inferentie (voorspelling):

• Dropout wordt niet toegepast, alle neuronen zijn actief.
• Om het ontbreken van uitschakeling van neuronen te compenseren, worden de gewichten geschaald (meestal vermenigvuldigd met de activatiekans van de neuron), of er wordt tijdens de training een schaalverdeling gebruikt ( inverted dropout).

Op deze manier helpt dropout om het model robuuster te maken en minder gevoelig voor overfitting, maar tijdens inferentie werkt het netwerk volledig zonder willekeurige uitschakelingen.