მობილური მოდელებისთვის პოსტ-ტრენინგის კვანტიზაცია რა არის?

ტრენინგის შემდეგ კვანტიზაცია არის ნეირონული ქსელების ოპტიმიზაციის მეთოდი, რომელიც გამოიყენება მოდელის ტრენინგის დასრულების შემდეგ. იგი ამცირებს მოდელის ზომას და აჩქარებს მის მუშაობას მობილურ და edge მოწყობილობებზე, წონებისა და აქტივაციების სიზუსტის შემცირებით (მაგალითად, 32-ბიტიანი float-დან 8-ბიტიან მთელ რიცხვებამდე).

ძირითადი უპირატესობები:

• მოდელის შენახვისთვის საჭირო მეხსიერების მოცულობის შემცირება.
• ინფერენციის დროისა და ენერგიის მოხმარების შემცირება.

პროცესი ჩვეულებრივ მოიცავს:

1. მოდელის წონების კვანტიზაციას.
2. (სურვილისამებრ) აქტივაციების კვანტიზაციას კალიბრაციის მონაცემთა ნაკრების გამოყენებით.

ეს საშუალებას აძლევს მოდელების გაშვებას რესურსების შეზღუდული მოწყობილობებზე, გარეშე გადამზადებისა ან მინიმალური დამატებითი კონფიგურაციის.