Kuri slāņi neironu tīklos uzvedas atšķirīgi apmācības un inference laikā (Dropout, BatchNorm utt.)?

Dažas neironu tīklu slāņi uzvedas atšķirīgi apmācības (train) un inferenču (inference) posmos:

• Dropout: apmācības laikā nejauši izslēdz daļu neironu, lai novērstu pārmācīšanos, bet inferenču laikā visi neironi ir aktīvi, un izejas tiek mērogotas, lai kompensētu.
• Partiju normalizācija (BatchNorm): apmācības laikā normalizē slāņa ieejas pēc pašreizējās partijas, atjaunojot statistiku (vidējo un dispersiju), bet inferenču laikā izmanto uzkrāto statistiku stabilitātes nodrošināšanai.

Tādējādi šie slāņi pielāgo savu uzvedību, lai nodrošinātu labāku apmācību un pareizu modeļa darbību prognozēšanas laikā.