Sobes.tech
Senior

Ի՞նչ է մոդելների համար ուսուցումից հետո քանակականացումը։

sobes.tech AI

Պատասխան AI-ից

Տրեյնինգից հետո քվանտիզացիան նեյրոնային ցանցերի օպտիմալացման մեթոդ է, որը կիրառվում է մոդելի ուսուցում ավարտելուց հետո: Այն նվազեցնում է մոդելի չափը և արագացնում է նրա աշխատանքը մոբայլ և edge սարքերում՝ նվազեցնելով քաշերի և ակտիվացումների ճշգրտությունը (օրինակ՝ 32-բիթ float-ից 8-բիթ ամբողջ թվեր):

Հիմնական առավելությունները՝

  • Մոդելի պահպանումը պահանջող հիշողության ծավալը նվազեցվում է:
  • Ինֆերենցիայի ժամանակը և էներգիայի սպառումը նվազեցվում է:

Ընդհանուր առմամբ, գործընթացը ներառում է՝

  1. Մոդելի քվանտիզացիա:
  2. (Ընտրովի) ակտիվացումների քվանտիզացիա՝ օգտագործելով կալիբրացիոն տվյալների հավաքածու:

Այսպիսով, հնարավոր է գործարկել մոդելներ սահմանափակ ռեսուրսներով սարքերում՝ առանց վերապատրաստման կամ նվազագույն լրացուցիչ կարգավորումների։