Назовите оптимизаторы. Что такое SGD?

Оптимизаторы — это алгоритмы, которые помогают минимизировать функцию потерь в задачах машинного обучения, корректируя параметры модели.

Некоторые популярные оптимизаторы:

• SGD (Stochastic Gradient Descent) — стохастический градиентный спуск, обновляет параметры по одному или нескольким случайным примерам, что ускоряет обучение и помогает выходить из локальных минимумов.
• Momentum — улучшение SGD с учётом накопленного градиента для ускорения сходимости.
• Adam — адаптивный метод, комбинирующий моменты первого и второго порядка градиента.
• RMSProp — адаптивный оптимизатор, корректирующий скорость обучения для каждого параметра.

SGD (Stochastic Gradient Descent) — это метод оптимизации, где параметры модели обновляются на основе градиента функции потерь, вычисленного на случайном подмножестве данных (батче). Это снижает вычислительную нагрузку и помогает лучше обобщать модель.

Пример обновления параметра:

# Псевдокод SGD
for batch in data:
    gradient = compute_gradient(batch)
    weights = weights - learning_rate * gradient