Prečo môžu váhy modelu narásť a prečo ich je potrebné znižovať regularizáciou?

Váhy modelu môžu byť veľké kvôli nadmernej zložitosti modelu alebo nedostatočnej regularizácii, čo vedie k preučeniu: model sa príliš presne prispôsobí tréningovým dátam a stráca schopnosť generalizácie. Veľké váhy môžu znamenať, že model reaguje príliš silno na jednotlivé znaky, čo znižuje jeho stabilitu.

Regularizácia pomáha znižovať veľkosť váh pridaním trestu za ich veľkosť do funkcie straty (napríklad L1 alebo L2 regularizácia). To podporuje jednoduchší a lepšie generalizujúci model, zlepšujúc jeho schopnosť pracovať s novými dátami.

Príklad L2 regularizácie vo funkcii straty:

loss = original_loss + lambda_ * sum(w**2 for w in weights)

kde lambda_ je koeficient regularizácie, ktorý riadi mieru trestu.