Зачем нужен learning rate и за что он отвечает?

Learning rate (скорость обучения) — это гиперпараметр в алгоритмах машинного обучения, особенно в методах оптимизации, таких как градиентный спуск. Он определяет, насколько сильно обновляются параметры модели на каждом шаге обучения.

Если learning rate слишком большой, модель может "перескочить" минимум функции ошибки и не сойтись. Если слишком маленький — обучение будет очень медленным и может застрять в локальных минимумах.

Пример: при обновлении весов нейронной сети

weights = weights - learning_rate * gradient

Здесь learning_rate контролирует размер шага в направлении уменьшения ошибки. Правильный выбор learning rate важен для эффективного и стабильного обучения модели.