როგორ მუშაობს dropout სწავლებისა და inference-ის დროს?

Dropout — ეს არის ნეირონული ქსელების რეგულირების ტექნიკა, რომელიც შემთხვევით (ნულზე დაყენებით) გამორთულობს ნაწილს ნეირონებს ტრენინგის დროს, რათა თავიდან აიცილოს გადამზადება.

ტრენინგის დროს:

• თითოეული შესვლის მაგალითისთვის შემთხვევით გამორთულია გარკვეული პროცენტი ნეირონების (მაგალითად, 20-50%).
• ეს აიძულებს ქსელს არ იყოს დამოკიდებული კონკრეტულ ნეირონებზე და აუმჯობესებს მის ზოგადსაკანონმდებლო უნარს.

ინფერენციის (წინასწარმეტყველების) დროს:

• Dropout არ გამოიყენება, ყველა ნეირონი აქტიურია.
• ნეირონების გამორთვის არარსებობის კომპენსაციისთვის, წონები სკალირდება (საერთოდ, ნეირონის აქტივობის ალბათობით გამრავლება), ან ტრენინგის დროს გამოიყენება სკალირება (inverted dropout).

ამ გზით, Dropout ეხმარება მოდელს გახდეს უფრო გამძლე და ნაკლებად მიდრეკილი გადამზადებისკენ, მაგრამ ინფერენციის დროს ქსელი მუშაობს სრულად, შემთხვევითი გამორთვების გარეშე.