Kas yra bias-variance trade-off?

Bias-variance trade-off — tai pagrindinė sąvoka mašininio mokymosi srityje, apibūdinanti kompromisą tarp dviejų tipų klaidų modelio mokymo metu:

• Bias (šališkumas) — klaida, kuri kyla dėl pernelyg paprasto modelio, kuris negali gerai aprašyti duomenų (nepakankamas mokymas).
• Variazija — klaida, susijusi su tuo, kad modelis yra pernelyg jautrus triukšmui mokymo duomenyse ir blogai apibendrina naujus duomenis (perdaug mokymosi).

Jei modelis yra pernelyg paprastas, jis turės aukštą bias ir žemą variaciją. Jei modelis yra pernelyg sudėtingas, jis turės žemą bias, bet aukštą variaciją.

Tikslas — rasti balansą, kai modelis yra pakankamai sudėtingas, kad sugautų modelius, bet ne per daug, kad prisitaikytų prie triukšmo.

Pavyzdys: mokant regresiją su žemo laipsnio polinomais (linijinė regresija), bias bus aukštas, o variacija — žema; su aukšto laipsnio polinomais — atvirkščiai.