Dlaczego wagi modelu mogą stać się duże i dlaczego należy je zmniejszać za pomocą regularizacji?

Wagi modelu mogą stać się duże z powodu nadmiernej złożoności modelu lub niewystarczającej regularizacji, co prowadzi do nadmiernego dopasowania — model zbyt dokładnie dopasowuje się do danych treningowych, tracąc zdolność do uogólniania. Duże wagi mogą oznaczać, że model reaguje zbyt silnie na poszczególne cechy, co obniża jego stabilność.

Regularizacja pomaga zmniejszyć wielkość wag, dodając do funkcji straty karę za ich rozmiar (np. regularizacja L1 lub L2). To sprzyja prostszemu i bardziej uogólniającemu się modelowi, poprawiając jego zdolność do pracy z nowymi danymi.

Przykład regularizacji L2 w funkcji straty:

loss = original_loss + lambda_ * sum(w**2 for w in weights)

gdzie lambda_ jest współczynnikiem regularizacji kontrolującym stopień kary.