Kā darbojas dropout neironu tīklos?

Dropout ir regulēšanas tehnika neironu tīklos, kas palīdz novērst pārmācīšanos. Treniņa laikā nejauši izslēdz (nulle) daļu neironu ar noteiktu varbūtību (piemēram, 0,5). Tas liek tīklam nepaļauties pārāk daudz uz atsevišķiem neironiem un mācīties stabilākas iezīmes.

Kā tas darbojas:

• Katram treniņa solim, katram neironam ar varbūtību p, tā izvade tiek aizvietota ar 0.
• Rezultātā tīkls kļūst kā dažādu apakšmodeļu kopums.
• Testēšanas laikā dropout netiek piemērots, bet neironu svari tiek mērogoti, lai kompensētu izslēgšanu treniņa laikā.

Pseido-koda piemērs:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Tas palīdz uzlabot modeļa vispārējo spēju generalizēt.