Gdybyśmy mieli nieskończone zasoby i nie zależało nam na szybkości zbieżności, którą metodę GD, SGD lub Mini-Batch SGD lepiej byłoby użyć?

Если ресурсы неограничены и скорость сходимости не критична, то лучше использовать классический градиентный спуск (Gradient Descent, GD).

Обоснование:

• GD вычисляет градиент по всему набору данных, что обеспечивает стабильное и точное направление для обновления параметров.
• SGD (Stochastic Gradient Descent) и Mini-Batch SGD используют случайные подвыборки, что ускоряет итерации, но вводит шум в градиенты, что может замедлить сходимость.

При бесконечных ресурсах можно позволить себе полные вычисления на каждом шаге, чтобы избежать стохастического шума и получить более предсказуемое поведение алгоритма.

Таким образом, GD предпочтительнее, когда нет ограничений по вычислительной мощности и времени.