Нашли LR на маленькой машине, batch size вырос в 1000 раз на кластере. Надо ли менять LR?

При увеличении batch size в 1000 раз на кластере обычно требуется скорректировать learning rate (LR). Это связано с тем, что при большом batch size градиенты усредняются по большому количеству примеров, что меняет динамику обучения.

Часто применяется правило линейного масштабирования LR: если batch size увеличивается в N раз, LR тоже увеличивают примерно в N раз, чтобы сохранить скорость обучения.

Однако при очень больших batch size могут возникать проблемы с сходимостью и обобщающей способностью модели. Поэтому:

• Начните с увеличения LR пропорционально росту batch size.
• Используйте warm-up — постепенное увеличение LR в начале обучения.
• Мониторьте метрики обучения и при необходимости уменьшайте LR или применяйте адаптивные методы.

Пример:

Если изначально batch size = 32, LR = 0.001, а теперь batch size = 32000 (в 1000 раз больше), попробуйте LR = 1.0 с warm-up.

Таким образом, менять LR нужно, но делать это аккуратно, с контролем качества обучения.