Neyron tarmoqlarda dropout qanday ishlaydi?

Dropout — bu neyron tarmoqlarida tartibga solish texnikasi bo‘lib, u overfittingni oldini olishga yordam beradi. Trening davomida, tasodifiy ravishda, ma'lum ehtimollik bilan (masalan, 0,5) neyronlarning qismi "o‘chiriladi" (null qilinadi). Bu tarmoqni alohida neyronlarga juda qaram bo‘lishdan saqlaydi va yanada barqaror xususiyatlarni o‘rganishga yordam beradi.

Qanday ishlaydi:

• Har bir trening bosqichida, har bir neyron uchun, ehtimollik p bilan, uning chiqishi 0 ga o‘zgartiriladi.
• Natijada, tarmoq turli kichik modellar to‘plamiga aylanadi.
• Test vaqtida dropout qo‘llanilmaydi, lekin neyronlarning vaznlari o‘lchov bilan o‘zgartiriladi, bu trening davomida o‘chirilishni hisobga oladi.

Pseudokod misoli:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Bu modelning umumiylashuv qobiliyatini yaxshilashga yordam beradi.