Γιατί τα βάρη του μοντέλου μπορεί να γίνουν μεγάλα και γιατί πρέπει να τα μειώσουμε με κανονικοποίηση;

Τα βάρη του μοντέλου μπορεί να γίνουν μεγάλα λόγω υπερβολικής πολυπλοκότητας του μοντέλου ή ανεπαρκούς κανονικοποίησης, οδηγώντας σε υπερεκπαίδευση: το μοντέλο προσαρμόζεται πολύ ακριβώς στα δεδομένα εκπαίδευσης, χάνοντας την ικανότητα γενίκευσης. Μεγάλα βάρη μπορεί να σημαίνουν ότι το μοντέλο αντιδρά πολύ έντονα σε συγκεκριμένα χαρακτηριστικά, μειώνοντας τη σταθερότητά του.

Η κανονικοποίηση βοηθά στη μείωση του μεγέθους των βαρών, προσθέτοντας στη λειτουργία απώλειας μια ποινή για το μέγεθός τους (π.χ., κανονικοποίηση L1 ή L2). Αυτό προάγει ένα πιο απλό και γενικεύσιμο μοντέλο, βελτιώνοντας την ικανότητά του να δουλεύει με νέα δεδομένα.

Παράδειγμα κανονικοποίησης L2 στη λειτουργία απώλειας:

loss = original_loss + lambda_ * sum(w**2 for w in weights)

όπου lambda_ είναι ο συντελεστής κανονικοποίησης που ελέγχει το βαθμό της ποινής.