Learning Rate и Batch Size — это независимые параметры? Есть ли между ними связь?

Learning Rate (скорость обучения) и Batch Size (размер батча) — это разные параметры, но между ними существует косвенная связь. Learning Rate определяет, насколько сильно обновляются веса модели на каждом шаге оптимизации, а Batch Size — количество примеров, обрабатываемых за один проход.

При большем Batch Size градиенты становятся более стабильными и менее шумными, что позволяет использовать более высокий Learning Rate без риска расходимости. При маленьком Batch Size градиенты более шумные, и часто требуется уменьшать Learning Rate, чтобы обучение было стабильным.

Таким образом, при настройке модели часто приходится балансировать эти параметры: увеличивая Batch Size, можно повысить Learning Rate для ускорения сходимости, и наоборот.

Пример:

# Псевдокод настройки обучения
batch_size = 64
learning_rate = 0.01

# Если batch_size уменьшить до 16, learning_rate стоит снизить, например, до 0.001