Τι είναι η συσσώρευση βαθμίδων και γιατί είναι απαραίτητη σε περιορισμένη μνήμη;

Η συσσώρευση γραμμών είναι μια τεχνική που επιτρέπει την αποτελεσματική εκπαίδευση μοντέλων με μεγαλύτερο μέγεθος παρτίδας από αυτό που επιτρέπει η μνήμη GPU, συγκεντρώνοντας τα γραμμικά διανύσματα σε αρκετές μικρές παρτίδες πριν από την ενημέρωση των βαρών.

Όταν η μνήμη είναι περιορισμένη, δεν είναι δυνατή η φόρτωση μιας μεγάλης παρτίδας ολόκληρης. Αντ' αυτού, το μοντέλο επεξεργάζεται αρκετές μικρές παρτίδες διαδοχικά, συγκεντρώνοντας τα γραμμικά διανύσματα (χωρίς να ενημερώνει τις παραμέτρους), και μετά από έναν καθορισμένο αριθμό βημάτων, πραγματοποιεί ένα βήμα βελτιστοποίησης.

Αυτό επιτρέπει:

• να προσομοιώσετε μεγαλύτερο μέγεθος παρτίδας, το οποίο μπορεί να βελτιώσει τη σταθερότητα και την ποιότητα της εκπαίδευσης.
• να ξεπεράσετε τους περιορισμούς μνήμης της GPU.

Παράδειγμα ψευδοκώδικα σε PyTorch:

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Εδώ, το accumulation_steps είναι ο αριθμός των μικρών παρτίδων μετά τις οποίες γίνεται ενημέρωση των βαρών.