Există o derivație a modelului în timpul antrenamentului cu dropout și inferența fără acesta?

Deriva modelului este o schimbare în distribuția datelor sau în comportamentul modelului în timp, ceea ce duce la o scădere a calității predicțiilor.

Dropout este o tehnică de regularizare în care neuronii sunt "opriviți" aleatoriu în timpul antrenamentului pentru a preveni supraînvățarea. În timpul inferenței (calculul predicțiilor), dropout este de obicei dezactivat, iar toți neuronii sunt activi, dar ieșirile lor sunt scalate pentru a compensa efectul dropout-ului în timpul antrenamentului.

Dacă dropout-ul este implementat corect, trecerea de la antrenamentul cu dropout la inferența fără acesta nu provoacă deriva modelului, deoarece scalarea ieșirilor neuronilor compensează diferența. Cu toate acestea, dacă scalarea nu este efectuată sau este făcută greșit, comportamentul modelului în inferență va fi diferit față de cel din timpul antrenamentului, ceea ce poate fi interpretat ca o deriva.

Prin urmare, deriva modelului în timpul antrenamentului cu dropout și inferența fără acesta nu apare dacă dropout-ul și scalarea sunt implementate corect. Dacă scalarea lipsește, comportamentul modelului în inferență poate fi diferit, ceea ce poate părea o deriva.