Kaip veikia dropout neuroniniuose tinkluose?

Dropout yra reguliavimo technika neuroniniuose tinkluose, kuri padeda išvengti per didelio pritaikymo. Treniruočių metu atsitiktinai išjungiamas (nulio) tam tikras neuronų skaičius su nustatyta tikimybe (pavyzdžiui, 0,5). Tai skatina tinklą neper daug priklausyti nuo atskirų neuronų ir mokytis stabilesnių požymių.

Kaip tai veikia:

• Kiekvieno mokymo žingsnio metu, kiekvienam neuronui su tikimybe p, jo išėjimas pakeičiamas į 0.
• Dėl to tinklas tampa kaip kelių skirtingų submodelių rinkinys.
• Testavimo metu dropout nėra taikomas, tačiau neuronų svoriai yra išskaičiuojami, kad kompensuotų išjungimą mokymo metu.

Pavyzdys pseudokode:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Tai padeda pagerinti modelio bendrąją gebėjimą.