Prečo model počas tréningu zaberá viac pamäte ako pri inferencii?
sobes.tech AI
Odpoveď od AI
V fáze učenia model zaberá viac pamäte z niekoľkých dôvodov:
-
Ukladanie gradientov: Počas učenia je potrebné ukladať gradienty pre každý parameter, aby bolo možné aktualizovať váhy pomocou algoritmu spätného šírenia. Pri inferencii nie sú gradienty potrebné.
-
Medzivýsledky aktivácií: Na výpočet gradientov je potrebné ukladať medzivýsledky aktivácií všetkých vrstiev, čo zvyšuje spotrebu pamäte.
-
Optimalizátory: Niektoré optimalizátory (napríklad Adam) ukladajú ďalšie parametre, ako sú momenty prvého a druhého radu, čo zvyšuje objem pamäte.
-
Dáta dávky: Počas učenia sa často používajú veľké dávky dát, čo tiež vyžaduje ďalšiu pamäť.
Stručne povedané, pri inferencii model jednoducho vykonáva priamy prechod, neukladá gradienty ani medzivýsledky pre spätné šírenie, čo výrazne znižuje spotrebu pamäte.