Momentum hakkında bize bilgi verin: özellikleri nelerdir?

Momentum, gradyan inişinin yakınsamasını hızlandırmak ve makine öğrenimi modellerinin eğitiminde salınımları azaltmak için kullanılan bir optimizasyon yöntemidir.

Momentum Özellikleri:

• Parametreleri yalnızca mevcut gradyan temelinde güncellemek yerine, Momentum geçmiş güncellemelerin birikmiş yönünü dikkate alır, sanki "ivme" ekliyormuş gibi.
• Bu, yerel minimumları ve düz alanları aşmaya yardımcı olur ve güncelleme trajedisini yataylaştırır.

Resmi olarak, Momentum ile parametre güncellemesi şu şekilde görünür:

v_{t} = \beta v_{t-1} + (1 - \beta) \nabla J(\theta_{t-1})
\theta_{t} = \theta_{t-1} - \alpha v_{t}

burada:

• (v_t) — hız (birikmiş gradyan),
• (\beta) — sönümleme katsayısı (genellikle yaklaşık 0.9),
• (\alpha) — öğrenme hızı,
• (\nabla J(\theta_{t-1})) — kayıp fonksiyonunun gradyanı.

Bu şekilde, Momentum daha hızlı yakınsama sağlar ve eğitimi daha stabil hale getirir, özellikle karmaşık kayıp fonksiyonu peyzajlarında.