Prečo je potrebná rýchlosť učenia a za čo zodpovedá?

Rýchlosť učenia (learning rate) je hyperparametr v algoritmoch strojového učenia, najmä v metódach optimalizácie ako je gradientový zostup. Určuje, ako veľmi sa aktualizujú parametre modelu pri každom kroku učenia.

Ak je rýchlosť učenia príliš veľká, model môže "preskočiť" minimum funkcie chyby a nezbiehať. Ak je príliš malá, učenie bude veľmi pomalé a môže uviaznuť v lokálnych minimách.

Príklad: pri aktualizácii váh neurónovej siete

weights = weights - learning_rate * gradient

Tu, learning_rate kontroluje veľkosť kroku smerom k zníženiu chyby. Správny výber rýchlosti učenia je dôležitý pre efektívne a stabilné trénovanie modelu.