Miért szükséges a learning rate, és mit szabályoz?

A tanulási ráta (learning rate) egy hiperparaméter a gépi tanulási algoritmusokban, különösen az optimalizációs módszerekben, mint például a gradiens csökkenés. Meghatározza, hogy mennyire erősen frissülnek a modell paraméterei minden tanulási lépésben.

Ha a tanulási ráta túl nagy, a modell "áthagyhat" egy minimumot a hibafüggvényben, és nem fog konvergálni. Ha túl kicsi, a tanulás nagyon lassú lesz, és elakadhat helyi minimumokban.

Példa: egy neurális háló súlyainak frissítésekor

weights = weights - learning_rate * gradient

Itt a learning_rate szabályozza a lépés méretét a hiba csökkentése irányában. A megfelelő tanulási ráta kiválasztása fontos a hatékony és stabil modelltréninghez.