De ce pot deveni mari greutățile modelului și de ce trebuie să le reducem prin regularizare?

Greutățile modelului pot deveni mari din cauza unei complexități excesive a modelului sau a unei regularizări insuficiente, ceea ce duce la supraînvățare: modelul se adaptează prea precis datelor de antrenament, pierzând capacitatea de a generaliza. Greutățile mari pot indica faptul că modelul reacționează prea puternic la anumite caracteristici, ceea ce îi reduce stabilitatea.

Regularizarea ajută la reducerea mărimii greutăților, adăugând la funcția de pierdere o penalizare pentru dimensiunea lor (de exemplu, regularizare L1 sau L2). Acest lucru promovează un model mai simplu și mai generalizabil, îmbunătățindu-i capacitatea de a lucra cu date noi.

Exemplu de regularizare L2 în funcția de pierdere:

loss = original_loss + lambda_ * sum(w**2 for w in weights)

unde lambda_ este coeficientul de regularizare care controlează severitatea penalizării.