Что хотят услышать интервьюеры:

Нужно показать, что большой batch size не обязан помещаться в память целиком. Обычно используют накопление градиентов, микробатчи или последовательную обработку данных с сохранением эквивалентного эффекта большого батча. Важно понимать, как это влияет на стабильность обучения, скорость и качество модели.

Определение:

При ограниченной памяти обучаются не на одном огромном батче, а на нескольких меньших подбатчах, которые обрабатываются по очереди. Чаще всего для этого используют gradient accumulation: градиенты считаются на микробатчах, накапливаются, а шаг оптимизатора делается только после обработки нескольких таких частей. Это позволяет имитировать большой batch size без необходимости держать все данные и активации в памяти одновременно.

Пример использования:

Допустим, на GPU помещается только 16 примеров, а для стабильного обучения нужен эффективный batch size 64. Тогда данные делят на 4 микробатча по 16, считают loss на каждом, суммируют или усредняют градиенты и делают один шаг оптимизатора после четвёртого микробатча.

accum_steps = 4
optimizer.zero_grad()

for i, (x, y) in enumerate(dataloader):
    preds = model(x)
    loss = criterion(preds, y) / accum_steps
    loss.backward()

    if (i + 1) % accum_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

Пояснение кода:

Код показывает накопление градиентов.
Сначала optimizer.zero_grad() очищает старые градиенты.
На каждом микробатче считается loss, затем он делится на accum_steps, чтобы итоговый градиент по масштабу был сопоставим с обучением на одном большом батче.
loss.backward() добавляет градиенты в параметры модели.
Когда накоплено нужное число микробатчей, вызывается optimizer.step(), и параметры обновляются один раз, как будто обучались на большом батче.
После этого градиенты снова обнуляются.

Ключевые моменты:

Основной приём — gradient accumulation, то есть накопление градиентов на нескольких микробатчах.
Это позволяет имитировать большой batch size при меньшем потреблении памяти.
Деление loss на число шагов накопления важно, чтобы не завысить величину обновления.
Дополнительно используют mixed precision, gradient checkpointing и уменьшение размера входов, если памяти всё ещё не хватает.
Нужно учитывать, что большой эффективный batch size может менять динамику обучения и требует подбора learning rate.

Как обучаться на большом батче при ограниченной памяти?