Prečo je v modeloch potrebná regularizácia?

Regulácia v modeloch strojového učenia je nevyhnutná na prevenciu overfittingu. Pridáva trest za zložitosť modelu, čím ho robí jednoduchším a lepšie sa generalizuje na nové dáta.

Hlavné efekty regulácie:

• Znižuje veľkosť koeficientov modelu, obmedzujúc vplyv menej dôležitých znakov.
• Pomáha vyhnúť sa príliš presnému prispôsobeniu tréningovým dátam, čím zlepšuje kvalitu na testovacích dátach.

Príklady populárnych metód regulácie:

• L1 regulácia (Lasso) — pridáva súčet absolútnych hodnôt koeficientov k funkcii straty, podporuje riedke modely.
• L2 regulácia (Ridge) — pridáva súčet štvorcov koeficientov, vyhladzuje váhy.

Príklad v Pythone s použitím L2 regulácie v lineárnej regresii:

from sklearn.linear_model import Ridge

model = Ridge(alpha=1.0)  # alpha — regulačný koeficient
model.fit(X_train, y_train)