Kuidas töötab dropout treeningu ja inference ajal?

Dropout on regulatsioonitehnika närvivõrkudes, mis juhuslikult (nullimisega) välja lülitab osa neuronitest treeningu ajal, et vältida üleõppimist.

Treeningu ajal:

• Iga sisendnäite puhul lülitatakse juhuslikult välja määratud protsent neuronitest (näiteks 20-50%).
• See sunnib võrku mitte sõltuma konkreetsetest neuronitest ja parandab selle üldistamisvõimet.

Inferentsi (prognoosi) ajal:

• Dropout ei rakendu, kõik neuronid on aktiivsed.
• Selle kompenseerimiseks, et neuronite välja lülitamist ei toimu, skaleeritakse kaalud (tavaliselt korrutatakse tõenäosusega, millega neuron aktiveerub), või kasutatakse treeningu ajal skaleerimist (inverted dropout).

Seega aitab dropout muuta mudeli vastupidavamaks ja vähem kalduvaks üleõppimisele, kuid inferentsi ajal töötab võrk täielikult ilma juhuslike välja lülitamisteta.