Защо е необходим learning rate и за какво отговаря?

Скоростта на обучение (learning rate) е хиперпараметър в алгоритмите за машинно обучение, особено в методите за оптимизация като градиентен спуск. Тя определя колко силно се актуализират параметрите на модела при всяка стъпка на обучение.

Ако скоростта на обучение е твърде голяма, моделът може да "прескочи" минимума на функцията за грешка и да не се сближи. Ако е твърде малка, обучението ще бъде много бавно и може да заседне в локални минимуми.

Пример: при актуализиране на теглата на невронна мрежа

weights = weights - learning_rate * gradient

Тук, learning_rate контролира размера на стъпката в посока на намаляване на грешката. Правилният избор на скоростта на обучение е важен за ефективно и стабилно обучение на модела.