Millised kihid neuronivõrkudes käituvad erinevalt treeningu ja inference ajal (Dropout, BatchNorm jne.)?

Mõned närvivõrkude kihid käituvad erinevalt treeningu (train) ja inference (inference) etappidel:

• Dropout: treeningu ajal lülitab juhuslikult välja osa neuronitest, et vältida üleõppimist, ja inference ajal on kõik neuronid aktiivsed ning väljundid skaleeritakse kompenseerimiseks.
• Partii normaliseerimine (BatchNorm): treeningu ajal normaliseerib kihis sisendid vastavalt praegusele partiile, uuendades statistikat (keskmine ja dispersioon), ja inference ajal kasutab kogutud statistikat stabiilsuse tagamiseks.

Nii kohandavad need kihid oma käitumist, et tagada parem õppimine ja õige mudeli toimimine prognoosimisel.