Ce este compromisul între bias și varianță?

Compromisul între bias și varianță este un concept fundamental în învățarea automată, care descrie compromisurile între două tipuri de erori în timpul antrenamentului unui model:

• Bias (părtinire) — eroare cauzată de un model prea simplu care nu poate descrie bine datele (subantrenare).
• Variație — eroare legată de faptul că modelul este prea sensibil la zgomotul din datele de antrenament și generalizează prost pe date noi (supraînvățare).

Dacă modelul este prea simplu, va avea un bias ridicat și o variație scăzută. Dacă este prea complex, va avea un bias scăzut, dar o variație ridicată.

Scopul este să găsești un echilibru în care modelul este suficient de complex pentru a captura tiparele, dar nu atât de complex încât să se adapteze zgomotului.

Exemplu: la antrenarea unei regresii cu polinoame de grad scăzut (regresie liniară), biasul va fi ridicat și variația scăzută; cu un polinom de grad înalt, invers.