Dropout öyrənmə və inference zamanı necə işləyir?

Dropout neyron şəbəkələrinin tənzimləmə texnikasıdır və təlim zamanı təsadüfi olaraq (sıfıra endirərək) neyronların bir hissəsini deaktiv edir, bu da artıq öyrənmənin qarşısını alır.

Təlim zamanı:

• Hər giriş nümunəsi üçün müəyyən faiz (məsələn, 20-50%) neyron təsadüfi olaraq deaktiv edilir.
• Bu, şəbəkənin müəyyən neyronlara bağlı olmamasını təmin edir və ümumiləşdirmə qabiliyyətini artırır.

İnferensiya (təsdiqləmə) zamanı:

• Dropout tətbiq edilmir, bütün neyronlar aktivdir.
• Neyronların deaktiv edilməsinin qarşısını almaq üçün, çəkilər ölçülür (adətən, neyronun aktivlik ehtimalı ilə vurulur), və ya təlim zamanı ölçüləndirmə (inverted dropout) istifadə olunur.

Beləliklə, dropout modeli daha dayanıqlı edir və artıq öyrənməyə meylliliyi azaldır, amma inferensiya zamanı şəbəkə tam gücü ilə işləyir və təsadüfi deaktivlər olmadan işləyir.