Kodėl modelio svoriai gali tapti dideli ir kodėl juos reikia sumažinti reguliacija?

Modelio svoriai gali tapti dideli dėl perteklinės sudėtingumo arba nepakankamos reguliacijos, kas sukelia per didelį pritaikymą: modelis labai tiksliai prisitaiko prie mokymo duomenų ir praranda bendrosios gebėjimo. Dideli svoriai gali reikšti, kad modelis per stipriai reaguoja į tam tikrus požymius, kas mažina jo stabilumą.

Reguliacija padeda sumažinti svorių dydį, pridėdama prie praradimo funkcijos baudą už jų dydį (pavyzdžiui, L1 arba L2 reguliacija). Tai skatina paprastesnį ir geriau bendrą modelį, gerindama jo gebėjimą dirbti su naujais duomenimis.

L2 reguliacijos pavyzdys praradimo funkcijoje:

loss = original_loss + lambda_ * sum(w**2 for w in weights)

kur lambda_ yra reguliacijos koeficientas, kontroliuojantis baudą.