თუ ბეტჩ ნორმალიზაცია სტატისტიკას განაახლებს ვალიდაციის დროს, რა პრობლემები წარმოიქმნება?

თუ batch normalization სტატისტიკებს (საშუალო და განაწილება) გადამოწმების დროს განაახლებს, ეს გამოიწვევს გადამოწმების მონაცემებზე ნორმალიზაციის პარამეტრების არასწორ შეფასებას. შედეგად:

• მოდელი გამოიყენებს მიმდინარე გადამოწმების ბატჩზე დამოკიდებულ სტატისტიკებს, რაც არღვევს გადამოწმების ნაკრების დამოუკიდებლობის პრინციპს.
• გადამოწმების დროს შესრულება შეიძლება გახდეს არასტაბილური და არ ასახავდეს მოდელის რეალურ ზოგადსაკავშირებელ უნარს.
• ეს შეიძლება გამოიწვიოს გადამეტება, რადგან მოდელი ადაპტირდება კონკრეტულ გადამოწმების ბატჩებზე.

ამიტომ, გადამოწმების დროს ჩვეულებრივ, აკუმულირებული სტატისტიკები ფიქსირდება და არ განახლდება, რათა უზრუნველყოს მოდელის ხარისხის სწორი შეფასება.