Cum funcționează dropout în timpul antrenamentului și al inferenței?

Dropout este o tehnică de regularizare a rețelelor neuronale care dezactivează aleator (setând la zero) o parte din neuroni în timpul antrenamentului pentru a preveni supraînvățarea.

În timpul antrenamentului:

• Pentru fiecare exemplu de intrare, un procentaj determinat de neuroni este dezactivat aleatoriu (de exemplu, 20-50%).
• Acest lucru forțează rețeaua să nu depindă de neuroni specifici și îmbunătățește capacitatea sa de generalizare.

În timpul inferenței (predicție):

• Dropout nu se aplică, toți neuronii sunt activi.
• Pentru a compensa lipsa dezactivării neuronilor, greutățile sunt scalate (de obicei, înmulțite cu probabilitatea de activare a neuronului), sau se folosește scalarea în timpul antrenamentului (dropout inversat).

Astfel, dropout ajută la crearea unui model mai robust și mai puțin predispus la supraînvățare, dar în timpul inferenței, rețeaua funcționează complet fără dezactivări aleatorii.