Kas modelil tekib kalde dropout'iga treenimise ajal ja ilma selle inferentsi ajal?

Mudeli nihke on muutus andmete jaotuses või mudeli käitumises aja jooksul, mis põhjustab prognooside kvaliteedi langust.

Dropout on regulatsioonitehnika, kus juhuslikult "väljalülitatakse" neuronid treeningu ajal, et vältida üleõppimist. Inferentsi ajal (prognooside arvutamisel) on dropout tavaliselt välja lülitatud ja kõik neuronid on aktiivsed, kuid nende väljundid skaleeritakse, et kompenseerida dropout'i mõju treeningu ajal.

Kui dropout on õigesti rakendatud, siis treeninguga dropout'iga ja ilma selleta inferentsi vahel mudeli nihke ei toimu, kuna neuronite väljundite skaleerimine kompenseerib erinevuse. Kui skaleerimine aga puudub või on vale, siis mudeli käitumine inferentsis erineb treeningust, mida võib tõlgendada kui nihke.

Seega, mudeli nihke treeningul dropout'iga ja inferentsil ilma selleta ei toimu, kui dropout ja skaleerimine on õigesti rakendatud. Kui skaleerimine puudub, võib mudeli käitumine inferentsis olla erinev, mis võib tunduda nihkena.