Если batch size больше, градиент станет меньше или больше?

При увеличении размера batch (пакета данных) в обучении модели градиент обычно становится более стабильным и менее шумным, то есть его величина может уменьшаться в смысле дисперсии, но не обязательно абсолютное значение градиента становится меньше или больше.

Объяснение:

• Маленький batch size даёт более шумный градиент, так как он вычисляется на небольшом подмножестве данных, что может приводить к большим колебаниям.
• Большой batch size усредняет градиенты по большому количеству примеров, что снижает шум и делает шаги обновления более предсказуемыми.

Однако, если говорить о величине градиента в абсолютном смысле, она может быть меньше, так как усреднение сглаживает экстремумы, но это зависит от конкретной задачи и данных.

Итог: увеличение batch size ведёт к более гладкому, менее шумному градиенту, что часто воспринимается как "меньший" градиент по величине колебаний.