Какво е gradient checkpointing?

Gradient checkpointing е техника за оптимизация на паметта при обучение на дълбоки невронни мрежи. Идеята е да не се запазват всички междинни активирания по време на директния проход, а само някои контролни точки (checkpoints). При обратното разпространение липсващите активирания се възстановяват чрез повторно изчисление на част от директния проход.

Това позволява значително намаляване на потреблението на памет, което е особено важно при обучение на много дълбоки модели или при ограничени GPU ресурси. Въпреки това, това увеличава времето за обучение, тъй като някои изчисления трябва да се повторят.

Пример за използване в PyTorch:

from torch.utils.checkpoint import checkpoint

def custom_forward(x):
    # сложна част от модела
    return x * x

output = checkpoint(custom_forward, input_tensor)

Така gradient checkpointing е компромис между време и памет, който позволява обучение на големи модели при ограничени ресурси.