Kā darbojas dropout apmācības un inferenču laikā?

Dropout ir regulēšanas tehnika neironu tīklos, kas nejauši (noliekot uz nulli) izslēdz daļu neironu treniņa laikā, lai novērstu pārmācīšanos.

Treniņa laikā:

• Katram ievades piemēram nejauši izslēdz noteiktu procentu neironu (piemēram, 20-50%).
• Tas liek tīklam nepaļauties uz konkrētiem neironiem un uzlabo tā vispārējo spēju.

Inferencē (prognozēšanas laikā):

• Dropout netiek piemērots, visi neironi ir aktīvi.
• Lai kompensētu neironu izslēgšanas trūkumu, svarus mēro, parasti reizinot ar neirona aktivizācijas varbūtību, vai treniņa laikā izmanto skalošanu (inverted dropout).

Tādējādi Dropout palīdz padarīt modeli izturīgāku un mazāk pakļautu pārmācīšanai, bet inferencē tīkls darbojas pilnībā bez nejaušiem izslēgumiem.