Dropout үйрөнүү жана inference учурунда кантип иштейт?

Dropout — бул нейрондук тармактарды регуляциялоо техникасы, алдаганды алдын алуу үчүн тренинг учурунда кездейсоқ түрдө (нөлгө коюу аркылуу) нейрондардын бир бөлүгүн өчүрөт.

Тренинг учурунда:

• Ар бир кирүү мисалы үчүн, белгилүү бир пайыз (мисалы, 20-50%) нейрондар кездейсоқ өчүрүлөт.
• Бул тармакка белгилүү нейрондорго көз каранды болбоого мажбурлайт жана анын жалпылоо жөндөмдүүлүгүн жакшыртат.

Инференция (болжоо) учурунда:

• Dropout колдонулбайт, бардык нейрондор активдүү.
• Нейрондордун өчүрүлүшүнөн калып кеткендикти компенсациялоо үчүн, салмактар масштабдалат (адатта, нейрондун активдүүлүк мүмкүнчүлүгү менен көбөйтүлөт), же тренинг учурунда масштабдоо колдонулат (invert dropout).

Мындайча айтканда, Dropout моделди көбүрөөк туруктуу кылууга жана ашыкча үйрөнүүнүн алдын алууга жардам берет, бирок инференция учурунда тармак толук иштейт жана кездейсоқ өчүрүүлөрдөн башкара албайт.