Care este compromisul dintre subantrenament și supraantrenament?

Compromisul între subantrenare (underfitting) și supraantrenare (overfitting) este un echilibru între un model prea simplu și unul prea complex.

• Subantrenare apare atunci când modelul este prea simplu și nu poate captura modelele din date. Ca rezultat, funcționează prost atât pe datele de antrenament, cât și pe cele noi.

• Supraantrenare apare atunci când modelul este prea complex și memorează zgomotul și caracteristicile aleatorii ale datelor de antrenament, ceea ce îi reduce capacitatea de a generaliza pe date noi.

Compromisul se realizează prin alegerea unui model și a unor parametri suficient de complecși pentru a captura dependențele importante, dar nu atât de complecși încât să memoreze zgomotul. Pentru aceasta, se folosesc metode de regularizare, validare încrucișată și ajustarea hiperparametrilor.

Exemplu: dacă aveți un model de regresie prea simplu (de exemplu, liniar pentru o dependență complexă), va fi subantrenat, iar dacă este prea complex (de exemplu, un polinom de grad înalt), va fi supraantrenat.