Kas ir bias-variance trade-off?

Bias-variance trade-off ir būtisks jēdziens mašīnmācībā, kas raksturo kompromisu starp diviem kļūdu veidiem modeļa apmācības laikā:

• Bias (kļūda) — kļūda, kas rodas pārāk vienkārša modeļa dēļ, kas nespēj labi raksturot datus (nepietiekama apmācība).
• Vairākums (variācija) — kļūda, kas saistīta ar to, ka modelis ir pārāk jutīgs pret trokšņiem apmācības datos un slikti vispārina uz jauniem datiem (pārmācība).

Ja modelis ir pārāk vienkāršs, tas būs ar augstu bias un zemu variāciju. Ja tas ir pārāk sarežģīts, tas būs ar zemu bias, bet augstu variāciju.

Mērķis ir atrast līdzsvaru, kur modelis ir pietiekami sarežģīts, lai uztvertu modeļus, bet ne tik ļoti, lai pielāgotos trokšņiem.

Piemērs: apmācot regresiju ar zema pakāpes polinomiem (lineāro regresiju), bias būs augsts, bet variācija — zema; ar augsta pakāpes polinomiem — pretēji.