Mi az a túlillesztés? Milyen módszerekkel lehet ellene küzdeni?

Overfitting (túlillesztés) — ez az a helyzet, amikor egy gépi tanulási modell túl jól alkalmazkodik a tanulási adatokhoz, beleértve a zajt és a véletlenszerű ingadozásokat is, és emiatt rosszul általánosít új, láthatatlan adatokra.

Az overfitting elleni módszerek:

• Regularizáció (L1, L2) — a modell összetettségének büntetésének hozzáadása, hogy megakadályozza a túl nagy súlyokat.
• Korai megállítás — a tanítás leállítása, amikor a validációs készlet minősége kezd romlani.
• Adatmennyiség növelése — több adat segít a modellnek jobban általánosítani.
• Keresztvalidáció — segít értékelni a modell általánosító képességét és beállítani a paramétereket.
• Dropout (neurális hálózatoknál) — véletlenszerűen kikapcsolni neuronokat a tanulás során, hogy elkerüljük a függőséget bizonyos jellemzőktől.
• A modell egyszerűsítése — a paraméterek vagy rétegek számának csökkentése.

Példa regularizációra lineáris regresszióban:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 regularizáció
model.fit(X_train, y_train)