მოდელის დეფორმაცია ხდება თუ არა dropout-ით სწავლების დროს და მის გარეშე ინფერენციის დროს?

მოდელის გადახრა არის მონაცემთა განაწილების ან მოდელის ქცევის ცვლილება დროის განმავლობაში, რაც იწვევს პროგნოზების ხარისხის გაუარესებას.

Dropout არის რეგულარიზაციის ტექნიკა, რომლის დროსაც ნეირონები შემთხვევით "გამორთული" ხდება სწავლების დროს, რათა თავიდან აიცილოს გადამეტება. ინფერენციის დროს (პროგნოზების გამოთვლა), dropout ჩვეულებრივ გამორთულია და ყველა ნეირონი აქტიურია, მაგრამ მათი გამოსვლები სკალირდება, რათა შეინარჩუნოს წონა, რომელიც dropout-ის დროს იყო.

თუ dropout სწორად არის განხორციელებული, მაშინ სწავლების დროს dropout-ით და მისი გარეშე ინფერენციის დროს მოდელის გადახრა არ ხდება, რადგან ნეირონების გამოსვლების სკალირება ანაზღაურებს განსხვავებას. თუმცა, თუ სკალირება არ ხდება ან არასწორია, მოდელის ქცევა ინფერენციის დროს განსხვავებული იქნება სწავლებისგან, რაც შეიძლება აღვიქვათ როგორც გადახრა.

ამრიგად, მოდელის გადახრა სწავლების დროს dropout-ით და მისი გარეშე ინფერენციის დროს არ ხდება, თუ dropout და სკალირება სწორად არის განხორციელებული. თუ სკალირება არ არის, მოდელის ქცევა ინფერენციის დროს შეიძლება იყოს განსხვავებული, რაც შეიძლება გამოიყურებოდეს როგორც გადახრა.