Если бы у нас были бесконечные ресурсы и нам не важна скорость сходимости — какой метод GD, SGD или Mini-Batch SGD лучше использовать?

Если ресурсы неограничены и скорость сходимости не критична, то лучше использовать классический градиентный спуск (Gradient Descent, GD).

Обоснование:

• GD вычисляет градиент по всему набору данных, что обеспечивает стабильное и точное направление для обновления параметров.
• SGD (Stochastic Gradient Descent) и Mini-Batch SGD используют случайные подвыборки, что ускоряет итерации, но вводит шум в градиенты, что может замедлить сходимость.

При бесконечных ресурсах можно позволить себе полные вычисления на каждом шаге, чтобы избежать стохастического шума и получить более предсказуемое поведение алгоритма.

Таким образом, GD предпочтительнее, когда нет ограничений по вычислительной мощности и времени.