Vai modeļa novirze rodas apmācībā ar dropout un bez tā veiktajā inferencē?

Modela novirze ir ir tas izmaiņas datu sadalījumā vai modeļa uzvedībā laika gaitā, kas noved pie prognožu kvalitātes pasliktināšanās.

Dropout ir regulārizācijas tehnika, kurā nejauši "izslēdz" neironu laikā apmācības, lai novērstu pārmācīšanos. Inference laikā (prognožu aprēķināšana) dropout parasti tiek izslēgts, un visi neironi ir aktīvi, bet to izejas tiek mērogotas, lai kompensētu dropout efektu apmācības laikā.

Ja dropout ir pareizi ieviests, tad pāreja no apmācības ar dropout uz inference bez tā nerada modeļa novirzi, jo neironu izeju mērogošana kompensē atšķirību. Tomēr, ja mērogošana netiek veikta vai tiek veikta nepareizi, modeļa uzvedība inference laikā atšķirsies no tās apmācības laikā, ko var interpretēt kā novirzi.

Tādējādi, modeļa novirze apmācības laikā ar dropout un inference bez tā nenotiek, ja dropout un mērogošana ir pareizi ieviesta. Ja mērogošana nav, modeļa uzvedība inference laikā var būt atšķirīga, kas var izskatīties kā novirze.