Šta je kompromis između pristrasnosti i varijanse?

Razmjena između pristranosti i varijance je temeljni koncept u strojnom učenju, koji opisuje kompromis između dviju vrsta pogrešaka pri treniranju modela:

• Pristranost (bias) — pogreška koja nastaje zbog previše jednostavnog modela koji ne može dobro opisati podatke (podučavanje).
• Varijanca — pogreška povezana s time da je model previše osjetljiv na šum u podacima za obuku i loše generalizira na nove podatke (prekomjerno učenje).

Ako je model previše jednostavan, imat će visok bias i nisku varijancu. Ako je previše složen, imat će nizak bias, ali visoku varijancu.

Cilj je pronaći ravnotežu u kojoj je model dovoljno složen da uhvati obrasce, ali ne previše da se prilagodi šumu.

Primjer: pri obuci regresije s niskim stupnjem polinoma (linearna regresija), bias će biti visok, a varijanca niska; s visokim stupnjem polinoma — obrnuto.