რატომ იკავებს მოდელი სწავლების ეტაპზე მეტ მეხსიერებას, ვიდრე ინფერენციის დროს?

სწავლების ეტაპზე მოდელი რამდენიმე მიზეზის გამო მეტ მეხსიერებას მოითხოვს:

1. გრადიენტების შენახვა: სწავლების დროს საჭიროა თითოეული პარამეტრის გრადიენტების შენახვა, რათა წონები განახლდეს უკანა გავრცელების ალგორითმის საშუალებით. ინფერენციის დროს გრადიენტები საჭირო არ არის.

2. შუალედური აქტივაციები: გრადიენტების გამოთვლისთვის საჭიროა ყველა ფენის შუალედური აქტივაციების მნიშვნელობების შენახვა, რაც მეხსიერების მოხმარებას ზრდის.

3. ოპტიმიზატორები: ზოგიერთი ოპტიმიზატორი (მაგალითად, Adam) ინახავს დამატებით პარამეტრებს, როგორიცაა პირველი და მეორე დონის მომენტები, რაც მეხსიერების მოცულობას ზრდის.

4. ბატჩის მონაცემები: სწავლების დროს ხშირად გამოიყენება დიდი ბატჩის მონაცემები, რაც ასევე საჭიროებს დამატებით მეხსიერებას.

საერთო ჯამში, ინფერენციის დროს მოდელი უბრალოდ ახორციელებს პირდაპირ გადაცემას, არ ინახავს გრადიენტებს და შუალედურ მნიშვნელობებს უკანა გავრცელებისთვის, რაც მნიშვნელოვნად ამცირებს მეხსიერების მოხმარებას.