Kako funkcioniše dropout u neuronskim mrežama?

Dropout je tehnika regularizacije u neuronskim mrežama koja pomaže u sprečavanju prekomernog prilagođavanja. Tokom treninga, deo neurona se nasumično "isključuje" (postavlja na nulu) sa datom verovatnoćom (npr. 0,5). Ovo tera mrežu da ne bude previše zavisna od pojedinačnih neurona i da uči robusnije karakteristike.

Kako funkcioniše:

• Na svakom koraku treninga, za svaki neuron, sa verovatnoćom p, njegov izlaz se zamenjuje sa 0.
• Kao rezultat, mreža postaje kao skup različitih podmodela.
• Tokom testiranja, dropout se ne primenjuje, ali se težine neurona skaliraju da bi se kompenzovalo isključivanje tokom treninga.

Primer u pseudokodu:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Ovo pomaže u poboljšanju sposobnosti modela da generalizuje.