როგორ მუშაობს dropout ნეირონულ ქსელებში?

Dropout არის ნეირონული ქსელების რეგულირების ტექნიკა, რომელიც ეხმარება გადამზადების გადაჭარბებას. ტრენინგის დროს, შემთხვევით, გარკვეული ალბათობით (მაგალითად, 0,5) ნეირონების ნაწილი "გამორთულია" (ნულდება). ეს აიძულებს ქსელს არ იყოს ძალიან დამოკიდებული ინდივიდუალურ ნეირონებზე და სწავლობდეს უფრო სტაბილურ ნიშნებს.

როგორ მუშაობს:

• ყოველი ტრენინგის ნაბიჯზე, თითოეულ ნეირონზე, ალბათობით p, მისი გამოსავალი შეიცვლება 0-ით.
• შედეგად, ქსელი ხდება როგორც სხვადასხვა ქვემოდელების ნაკრები.
• ტესტირების დროს, dropout არ გამოიყენება, მაგრამ ნეირონების წონები სკალირდება, რათა შეავსოს გამორთვა ტრენინგის დროს.

პსევდოკოდის მაგალითი:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

ეს ეხმარება მოდელის ზოგადობის უნარის გაუმჯობესებაში.