Proč se mohou váhy modelu stát velkými a proč je třeba je regulací snižovat?

Váhy modelu se mohou stát velkými kvůli nadměrné složitosti modelu nebo nedostatečné regularizaci, což vede k přeučení: model se příliš přesně přizpůsobí tréninkovým datům a ztrácí schopnost generalizace. Velké váhy mohou znamenat, že model příliš silně reaguje na jednotlivé znaky, což snižuje jeho stabilitu.

Regularizace pomáhá snižovat velikost vah tím, že do funkce ztráty přidává penalizaci za jejich velikost (například L1 nebo L2 regularizace). To podporuje jednodušší a lépe generalizující model, zlepšuje jeho schopnost pracovat s novými daty.

Příklad L2 regularizace ve funkci ztráty:

loss = original_loss + lambda_ * sum(w**2 for w in weights)

kde lambda_ je koeficient regularizace, který řídí míru trestu.