Milyen módszerek léteznek a túlillesztés elleni küzdelemben, és hogyan működnek?

A túlillesztés (overfitting) akkor fordul elő, amikor a modell túl jól alkalmazkodik a tanulási adatokhoz, elveszíti az általánosítás képességét az új adatokra. A túlillesztés elleni módszerek:

• Regularizáció — büntetés hozzáadása a veszteségfüggvényhez a modell összetettsége miatt. Például az L1 (Lasso) és L2 (Ridge) regularizációk csökkentik a paraméterek súlyait, megakadályozva a túlzott bonyolítást.

• Korai megállítás — a tanítás leállítása, amikor a validációs készleten a hiba növekedni kezd.

• Keresztvalidáció — segít értékelni a modell általánosító képességét és kiválasztani az optimális hiperparamétereket.

• Adatnövelés (Data augmentation) — további tanulási példák létrehozása az adatok változatosságának növelése érdekében.

• Dropout (neurális hálózatoknál) — véletlenszerűen kikapcsolni néhány neuront a tanulás során, csökkentve a függőséget bizonyos jellemzőktől.

• A modell összetettségének csökkentése — egyszerűbb modell választása kevesebb paraméterrel.

L2 regularizáció példája a veszteségfüggvényben:

( Loss = Loss_{eredeti} + \lambda \sum w_i^2 )

ahol ( \lambda ) a regularizációs tényező, ( w_i ) a modell súlyai.