Ha végtelen erőforrásaink lennének, és nem számítana a konvergencia sebessége, melyik GD, SGD vagy Mini-Batch SGD módszert érdemes használni?

Если ресурсы неограничены и скорость сходимости не критична, то лучше использовать классический градиентный спуск (Gradient Descent, GD).

Обоснование:

• GD вычисляет градиент по всему набору данных, что обеспечивает стабильное и точное направление для обновления параметров.
• SGD (Stochastic Gradient Descent) и Mini-Batch SGD используют случайные подвыборки, что ускоряет итерации, но вводит шум в градиенты, что может замедлить сходимость.

При бесконечных ресурсах можно позволить себе полные вычисления на каждом шаге, чтобы избежать стохастического шума и получить более предсказуемое поведение алгоритма.

Таким образом, GD предпочтительнее, когда нет ограничений по вычислительной мощности и времени.