Wat is overfitting? Welke manieren zijn er om het te bestrijden?

Overfitting (overfitting) is een situatie waarin een machine learning-model te goed past bij de trainingsgegevens, inclusief ruis en willekeurige schommelingen, en daardoor slecht generaliseert naar nieuwe, onzichtbare gegevens.

Manieren om overfitting te bestrijden:

• Regularisatie (L1, L2) — het toevoegen van een straf voor de complexiteit van het model om te grote gewichten te voorkomen.
• Vroegtijdig stoppen — stoppen met trainen wanneer de kwaliteit op de validatie set begint te verslechteren.
• Meer data verzamelen — meer data helpt het model beter te generaliseren.
• Cross-validatie — helpt de generalisatiecapaciteit van het model te beoordelen en parameters af te stemmen.
• Dropout (voor neurale netwerken) — willekeurig neuronen uitschakelen tijdens training om afhankelijkheid van specifieke kenmerken te voorkomen.
• Model vereenvoudigen — het verminderen van het aantal parameters of lagen.

Voorbeeld van regularisatie in lineaire regressie:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 regularisatie
model.fit(X_train, y_train)