Kuidas töötab dropout närvivõrkudes?

Dropout on regulatsioonitehnika närvivõrkudes, mis aitab vältida üleõppimist. Treeningu ajal lülitatakse juhuslikult välja (nullitakse) osa neuronitest määratud tõenäosusega (näiteks 0,5). See sunnib võrku mitte liiga palju sõltuma üksikutest neuronitest ja õppima stabiilsemaid tunnuseid.

Kuidas see töötab:

• Igal treeningsammul asendatakse iga neuroni väljund tõenäosusega p nulliga.
• Selle tulemusena muutub võrk nagu erinevate alammudelite kogumiks.
• Testimisel ei rakendata dropout'i, kuid neuronite kaalud skaleeritakse, et kompenseerida välja lülitamist treeningu ajal.

Näide pseudokoodis:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

See aitab parandada mudeli üldistamisvõimet.