Kaip veikia dropout mokymo ir inferencijos metu?

Dropout yra reguliavimo technika neuroniniuose tinkluose, kuri atsitiktinai (nulioja) išjungia dalį neuronų treniruotės metu, siekiant išvengti per didelio pritaikymo.

Treniruotės metu:

• Kiekvienam įvesties pavyzdžiui atsitiktinai išjungiama nustatyta neuronų procentinė dalis (pvz., 20-50%).
• Tai verčia tinklą nepriklausyti nuo konkrečių neuronų ir gerina jo bendrąją gebėjimą.

Inferencijos (prognozės) metu:

• Dropout nėra taikomas, visi neuronai yra aktyvūs.
• Norint kompensuoti neuronų išjungimo trūkumą, svoriai skaliuojami (dažniausiai dauginami iš neurono aktyvumo tikimybės), arba treniruotės metu taikomas skaliavimas (inverted dropout).

Taip Dropout padeda padaryti modelį tvirtesnį ir mažiau linkusį į per pritaikymą, tačiau inferencijos metu tinklas veikia pilnai be atsitiktinių išjungimų.