Niyə model öyrənmə mərhələsində daha çox yaddaş tutur, inferens zamanı isə daha az?
sobes.tech Süni İntellekt
AI-dan cavab
Təlim mərhələsində model bir neçə səbəbdən daha çox yaddaş istifadə edir:
-
Gradientlərin saxlanması: Təlim zamanı, hər parametr üçün gradientləri saxlamaq və geri yayılma alqoritmi ilə çəkiləri yeniləmək lazımdır. İnferensiyada, gradientlər lazım deyil.
-
Aralıq aktivləşmələr: Gradientləri hesablamaq üçün, bütün qatların aralıq aktivləşmə dəyərlərini saxlamaq lazımdır, bu da yaddaş istifadəsini artırır.
-
Optimizatorlar: Bəzi optimizatorlar (məsələn, Adam) əlavə parametrlər, məsələn, birinci və ikinci dərəcəli momentləri saxlayır, bu da yaddaş miqdarını artırır.
-
Partiya məlumatları: Təlim zamanı, tez-tez böyük partiya məlumatlarından istifadə olunur, bu da əlavə yaddaş tələb edir.
Xülasə olaraq, inferensiyada model sadəcə birbaşa keçid edir, gradientləri və aralıq dəyərləri saxlamaq lazım deyil, bu da yaddaş istifadəsini əhəmiyyətli dərəcədə azaldır.