Cum funcționează dropout în rețelele neuronale?

Dropout este o tehnică de regularizare în rețelele neuronale care ajută la prevenirea supraînvățării. În timpul antrenamentului, o parte din neuroni sunt "deconectate" aleatoriu (setate la zero) cu o probabilitate dată (de exemplu, 0,5). Acest lucru determină rețeaua să nu depindă prea mult de neuroni individuali și să învețe caracteristici mai robuste.

Cum funcționează:

• La fiecare pas de antrenament, pentru fiecare neuron, cu probabilitatea p, ieșirea sa este înlocuită cu 0.
• Ca rezultat, rețeaua devine ca un ansamblu de mai multe submodele.
• În timpul testării, dropout nu se aplică, iar greutățile neuronilor sunt scalate pentru a compensa dezactivarea în timpul antrenamentului.

Exemplu în pseudocod:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Acest lucru ajută la îmbunătățirea capacității de generalizare a modelului.