Нейрондук тармактарда dropout кантип иштейт?

Dropout — нейрондук тармактарда регуляциялоо техникасы, ал overfittingти алдын алууга жардам берет. Тренинг учурунда, кездейсөңчө, белгилүү бир ыктымалдык менен (мисалы, 0,5) нейрондордун бир бөлүгү "өчүрүлөт" (нөлгө коюлат). Бул тармакты жеке нейрондорго өтө көз каранды болуудан сактайт жана көбүрөөк туруктуу мүнөздөмөлөрдү үйрөнүүгө жардам берет.

Кандай иштейт:

• Ар бир тренинг кадамында, ар бир нейрон үчүн, ыктымалдык p менен, анын чыгышы 0го алмаштырылат.
• Натыйжада, тармак ар түрдүү субмоделдердин жыйындысы сыяктуу болот.
• Тест учурунда dropout колдонулбайт, бирок нейрондордун салмактары масштабдалат, тренинг учурунда өчүрүүнү компенсациялоо үчүн.

Псевдокод мисалы:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Бул моделдин жалпылоо жөндөмдүүлүгүн жакшыртууга жардам берет.