Wat is selectieve herberekening in grote modellen?

Selectieve herberekening is een aanpak bij het trainen van grote modellen, waarbij alleen de delen van het model of de berekeningen die daadwerkelijk zijn veranderd of afhankelijk zijn van gewijzigde gegevens, opnieuw worden berekend (doorgelopen), in plaats van het volledige model opnieuw te berekenen.

In de context van gedistribueerd leren en het gebruik van GPU's, stelt dit in staat:

• De trainingstijd te verkorten door de hoeveelheid berekeningen te verminderen.
• Efficiënter gebruik te maken van bronnen door alleen de benodigde parameters of lagen bij te werken.
• De schaalbaarheid te verbeteren bij het werken met zeer grote modellen.

Bijvoorbeeld, als slechts een kleine set parameters of een deel van de invoergegevens in het model is gewijzigd, maakt selectieve herberekening het mogelijk om alleen de gerelateerde berekeningen bij te werken, zonder de rest van het model te beïnvloeden.

Dit is vooral relevant bij het gebruik van complexe berekeningsgrafen en bij gedistribueerd leren, waar volledige reconstructie en herberekening van het model zeer tijd- en resource-intensief kunnen zijn.