Kako funkcioniše dropout tokom obuke i inferencije?

Dropout је техника регуларизације неуронских мрежа која насумично (постављајући на нулу) искључује део неурона током тренинга како би спречила пренаглашавање.

Током тренинга:

• За сваки улазни пример, одређени проценат неурона се насумично искључује (нпр. 20-50%).
• Ово тера мрежу да не зависи од одређених неурона и побољшава њену способност генерализације.

Током инференције (предвиђања):

• Dropout се не примењује, сви неурони су активни.
• Да би се компензовао недостатак искључивања неурона, тежине се скалирају (обично се множе вероватноћу активирања неурона), или се током тренинга користи скалирање (inverse dropout).

На овај начин, Dropout помаже да модел буде отпорнији и мање склони пренаглашавању, али током инференције мрежа ради у потпуности без насумичног искључивања.