Come funziona il dropout nelle reti neurali?

Il dropout è una tecnica di regolarizzazione nelle reti neurali che aiuta a prevenire il sovraccarico. Durante l'addestramento, una parte dei neuroni viene "disattivata" casualmente (azzerata) con una probabilità data (ad esempio, 0,5). Questo costringe la rete a non dipendere troppo da neuroni singoli e a imparare caratteristiche più robuste.

Come funziona:

• Ad ogni passo di addestramento, per ogni neurone, con probabilità p, la sua uscita viene sostituita con 0.
• Di conseguenza, la rete diventa come un insieme di diversi sotto-modelli.
• Durante il test, il dropout non viene applicato, ma i pesi dei neuroni vengono scalati per compensare la disattivazione durante l'addestramento.

Esempio in pseudocodice:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Questo aiuta a migliorare la capacità di generalizzazione del modello.