Ar modelio dreifas atsiranda mokantis su dropout ir be jo atliekant inferenciją?

Modelio nuokrypis yra pokytis duomenų paskirstyme arba modelio elgesyje laikui bėgant, dėl kurio blogėja prognozių kokybė.

Dropout yra reguliacijos technika, kai mokymo metu atsitiktinai "išjungiamas" neuronai, siekiant išvengti per didelio pritaikymo. Inference metu (prognozių skaičiavimas) dropout dažniausiai išjungiamas, ir visi neuronai yra aktyvūs, tačiau jų išėjimai yra skalaujami, kad kompensuotų dropout poveikį mokymo metu.

Jei dropout yra tinkamai įgyvendintas, pereinant nuo mokymo su dropout prie inference be jo, modelio nuokrypis nesusidaro, nes neuronų išėjimų skalavimas kompensuoja skirtumą. Tačiau, jei skalavimas nėra atliekamas arba atliekamas netinkamai, modelio elgsena inference metu skirsis nuo mokymo, ir tai gali būti interpretuojama kaip nuokrypis.

Taigi, modelio nuokrypis mokymo su dropout ir inference be jo metu nesusidaro, jei dropout ir skalavimas yra tinkamai įgyvendinti. Jei skalavimas nėra, modelio elgsena inference metu gali būti kitokia, ir tai gali atrodyti kaip nuokrypis.