Modelin ağırlıkları neden büyük olabilir ve bunları düzenlilikle neden küçültmek gerekir?

Modelin ağırlıkları, modelin aşırı karmaşık olması veya yetersiz düzenleme nedeniyle büyük hale gelebilir, bu da aşırı uyuma yol açar: model eğitim verilerine çok sıkı uyum sağlar ve genelleme yeteneğini kaybeder. Büyük ağırlıklar, modelin belirli özelliklere çok fazla tepki verdiğini gösterebilir, bu da onun kararlılığını azaltır.

Düzenleme, ağırlıkların büyüklüğünü azaltmaya yardımcı olur ve kayıp fonksiyonuna büyüklükleri için bir ceza ekler (örneğin, L1 veya L2 düzenlemesi). Bu, daha basit ve genelleyici bir model teşvik eder ve yeni verilerle çalışma yeteneğini artırır.

L2 düzenlemesinin kayıp fonksiyonundaki örneği:

loss = original_loss + lambda_ * sum(w**2 for w in weights)

Burada lambda_, ceza seviyesini kontrol eden düzenleme katsayısıdır.