Waarom kunnen de gewichten van het model groot worden en waarom is het nodig om ze te verminderen met regularisatie?

De gewichten van het model kunnen groot worden door overmatige complexiteit of onvoldoende regularisatie, wat leidt tot overfitting: het model past zich te nauwkeurig aan de trainingsgegevens aan en verliest het vermogen om te generaliseren. Grote gewichten kunnen betekenen dat het model te sterk reageert op bepaalde kenmerken, wat de stabiliteit vermindert.

Regularisatie helpt de grootte van de gewichten te verminderen door een straf toe te voegen aan de verliesfunctie voor hun grootte (bijvoorbeeld L1 of L2 regularisatie). Dit bevordert een eenvoudiger en beter generaliserend model, waardoor het beter kan omgaan met nieuwe gegevens.

Voorbeeld van L2 regularisatie in de verliesfunctie:

loss = original_loss + lambda_ * sum(w**2 for w in weights)

waar lambda_ de regularisatiecoëfficiënt is die de strengheid van de straf controleert.