Als we oneindige middelen hadden en de convergentiesnelheid niet uitmaakte, welke methode van GD, SGD of Mini-Batch SGD zou je het beste kunnen gebruiken?

Если ресурсы неограничены и скорость сходимости не критична, то лучше использовать классический градиентный спуск (Gradient Descent, GD).

Обоснование:

• GD вычисляет градиент по всему набору данных, что обеспечивает стабильное и точное направление для обновления параметров.
• SGD (Stochastic Gradient Descent) и Mini-Batch SGD используют случайные подвыборки, что ускоряет итерации, но вводит шум в градиенты, что может замедлить сходимость.

При бесконечных ресурсах можно позволить себе полные вычисления на каждом шаге, чтобы избежать стохастического шума и получить более предсказуемое поведение алгоритма.

Таким образом, GD предпочтительнее, когда нет ограничений по вычислительной мощности и времени.