Waarom neemt het model tijdens de training meer geheugen in beslag dan tijdens de inferentie?

In de trainingsfase gebruikt het model om verschillende redenen meer geheugen:

1. Opslag van gradiënten: Tijdens training moeten de gradiënten voor elke parameter worden opgeslagen om de gewichten bij te werken via het backpropagatie-algoritme. Bij inferentie zijn gradiënten niet nodig.

2. Intermediaire activaties: Om de gradiënten te berekenen, moeten de tussenwaarden van de activaties van alle lagen worden opgeslagen, wat het geheugengebruik verhoogt.

3. Optimalisatoren: Sommige optimalisatoren (zoals Adam) slaan extra parameters op, zoals de eerste- en tweede-orde momenten, wat het geheugengebruik vergroot.

4. Batchgegevens: Tijdens training worden vaak grote batches gegevens gebruikt, wat ook extra geheugen vereist.

Kortom, bij inferentie voert het model gewoon een directe voorwaartse pass uit, zonder gradiënten of tussenwaarden voor backpropagatie op te slaan, wat het geheugengebruik aanzienlijk vermindert.