Dropout менен окутуу жана анын жоктугунда инференс учурунда модельдин жылышы болотпу?

Моделдин айланмасы — бул убакыттын өтүшү менен маалыматтын бөлүштүрүлүшүндө же моделдин жүрүм-турумунда өзгөрүү, ал алдын ала болуучу сапатын төмөндөтөт.

Dropout — бул регуларизация техникасы, ал учурда нейрондор кездешип "өчүрүлөт" жана бул өтө көп үйрөнүүнү алдын алууга жардам берет. Инференс учурунда (болжолдоо эсептөөдө), dropout адатта өчүрүлүп, бардык нейрондор активдүү болот, бирок алардын чыгыштары масштабдалат, бул үйрөнүү учурунда dropoutтун таасирин жогорулагандай кылат.

Эгер dropout туура ишке ашырылса, dropout менен үйрөнүүдөн dropoutсуз инференске өтүү моделдин айланмасын пайда кылбайт, анткени нейрон чыгыштарынын масштабдоо айырманы жогорулайт. Бирок, масштабдоо жасалбаса же туура жасалбаса, моделдин инференс учурундагы жүрүм-туруму үйрөнүүдөн айырмаланат, жана бул айланма катары кабыл алынышы мүмкүн.

Ошондуктан, dropout менен үйрөнүү жана dropoutсуз инференс учурунда моделдин айланмасы пайда болбойт, эгер dropout жана масштабдоо туура ишке ашырылса. Эгер масштабдоо жок болсо, моделдин инференс учурундагы жүрүм-туруму башкача болушу мүмкүн, жана бул айланма катары көрүнүшү мүмкүн.