¿Qué es la acumulación de gradientes y por qué es necesaria en memoria limitada?

La acumulación de gradientes es una técnica que permite entrenar modelos con un tamaño de lote mayor que la memoria de la GPU, acumulando los gradientes durante varios mini-lotes antes de actualizar los pesos.

Cuando la memoria es limitada, no se puede cargar un lote grande completo. En su lugar, el modelo procesa varios pequeños lotes secuencialmente, acumulando los gradientes (sin actualizar los parámetros), y después de un número determinado de pasos realiza una actualización.

Esto permite:

• Emular un tamaño de lote mayor, lo que puede mejorar la estabilidad y la calidad del entrenamiento.
• Superar las limitaciones de memoria de la GPU.

Ejemplo de pseudocódigo en PyTorch:

optimizer.zero_grad()
for i, (inputs, targets) in enumerate(dataloader):
    outputs = model(inputs)
    loss = criterion(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Aquí, accumulation_steps es el número de mini-lotes después de los cuales se actualizan los pesos.