Neyron şəbəkələrində hansı qatlar təlim və çıxarış zamanı fərqli davranır (Dropout, BatchNorm və s.)?

Bəzi neyron şəbəkə qatları öyrənmə (train) və çıxarış (inference) mərhələlərində fərqli davranır:

• Dropout: öyrənmə zamanı təsadüfi olaraq neyronların bir hissəsini deaktiv edir, artıq öyrənməni qarşısını almaq üçün, çıxarış zamanı isə bütün neyronlar aktivdir və çıxışlar kompensasiya üçün miqyaslanır.
• Partiya normallaşdırması (BatchNorm): öyrənmə zamanı qatın girişlərini cari partiyaya əsasən normallaşdırır, statistikaları (orta və dispersiya) yeniləyir, çıxarış zamanı isə, sabitlik üçün yığılmış statistikaları istifadə edir.

Beləliklə, bu qatlar davranışlarını tənzimləyir, daha yaxşı öyrənmə və düzgün işləmə üçün modelin çıxışlarında.