Erzählen Sie mir von der Gradientensammlung. In welchen Fällen wird sie angewendet?

Gradient-Akkumulation ist eine Technik, die beim Training neuronaler Netze verwendet wird, bei der die Gradienten über mehrere Mini-Batches hinweg akkumuliert werden, bevor die Gewichte des Modells aktualisiert werden. Dies ermöglicht es, effektiv eine größere Batch-Größe zu simulieren, als sie physisch in den GPU-Speicher passt.

Sie wird angewendet, wenn aufgrund von Speicherbeschränkungen keine große Batch-Größe verwendet werden kann, und eine große Batch-Größe für die Stabilität und Qualität des Trainings wichtig ist. Anstatt die Gewichte nach jedem kleinen Batch zu aktualisieren, werden die Gradienten (akkumuliert) über mehrere Iterationen summiert, und dann erfolgt ein Optimierungsschritt.

Beispiel für Pseudocode:

accumulation_steps = 4
optimizer.zero_grad()
for i, data in enumerate(dataloader):
    outputs = model(data)
    loss = loss_fn(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Auf diese Weise wird das Modell seltener aktualisiert, aber mit einem Gradient, der einem größeren Batch entspricht.