Zašto težine modela mogu postati velike i zašto ih je potrebno smanjiti regularizacijom?

Моделските тежине могу постати велике због прекомерне сложености модела или недостатка регуларизације, што доводи до пренаглашавања: модел се превише тачно прилагођава подацима за обуку, губећи способност генерализације. Велике тежине могу значити да модел реагује превише на одређене карактеристике, што смањује његову стабилност.

Регуларизација помаже у смањењу величине тежина додавањем казне за њихову величину у функцију губитка (на пример, L1 или L2 регуларизација). Ово подстиче једноставнији и боље генерализујући модел, побољшавајући његову способност рада са новим подацима.

Пример L2 регуларизације у функцији губитка:

loss = original_loss + lambda_ * sum(w**2 for w in weights)

где је lambda_ коефицијент регуларизације који контролише степен казне.