Öğrenme oranı neden gereklidir ve neyi kontrol eder?

Öğrenme oranı (learning rate), makine öğrenimi algoritmalarında, özellikle gradyan inişi gibi optimizasyon yöntemlerinde bir hiperparametredir. Model parametrelerinin her eğitim adımında ne kadar güçlü güncelleneceğini belirler.

Eğer öğrenme oranı çok büyükse, model hata fonksiyonunun minimumunu "atlayabilir" ve yakınsama sağlayamayabilir. Çok küçükse, eğitim çok yavaş olur ve yerel minimumlarda takılı kalabilir.

Örnek: bir sinir ağının ağırlıklarını güncellerken

weights = weights - learning_rate * gradient

Burada, learning_rate hata azaltma yönünde adımın boyutunu kontrol eder. Doğru öğrenme oranı seçimi, modelin etkili ve stabil eğitimi için önemlidir.