Waarvoor is de leersnelheid nodig en waar is deze verantwoordelijk voor?

Leertempo (learning rate) is een hyperparameter in machine learning algoritmen, vooral in optimalisatiemethoden zoals gradient descent. Het bepaalt hoe sterk de parameters van het model worden bijgewerkt bij elke trainingsstap.

Als de leertempo te groot is, kan het model de foutminima "overslaan" en niet convergeren. Als het te klein is, zal de training erg langzaam gaan en vastlopen in lokale minima.

Voorbeeld: bij het bijwerken van de gewichten van een neuraal netwerk

weights = weights - learning_rate * gradient

Hier controleert de leertempo de grootte van de stap in de richting van foutreductie. Het juiste kiezen van de leertempo is belangrijk voor een effectieve en stabiele training van het model.