Fale sobre acumulação de gradiente. Em que casos ela é aplicada?

Acumulação de gradientes é uma técnica utilizada no treino de redes neurais, onde os gradientes são acumulados durante vários mini-batches antes de atualizar os pesos do modelo. Isto permite simular de forma eficiente um tamanho de batch maior do que aquele que cabe fisicamente na memória da GPU.

É aplicada em casos onde, devido a limitações de memória, não é possível usar um grande tamanho de batch, e um grande tamanho de batch é importante para a estabilidade e qualidade do treino. Em vez de atualizar os pesos após cada mini-batch, os gradientes são somados (acumulados) ao longo de várias iterações, e então é dado um passo de otimização.

Exemplo de pseudocódigo:

accumulation_steps = 4
optimizer.zero_grad()
for i, data in enumerate(dataloader):
    outputs = model(data)
    loss = loss_fn(outputs, targets) / accumulation_steps
    loss.backward()
    if (i + 1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Desta forma, o modelo é atualizado com menos frequência, mas com um gradiente equivalente a um batch maior.