Čo je to trade-off medzi zaujatím a rozptylom?

Obchod medzi biasom a varianciou je základný koncept v strojovom učení, ktorý opisuje kompromis medzi dvoma typmi chýb pri tréningu modelu:

• Bias (skreslenie) — chyba spôsobená príliš jednoduchým modelom, ktorý nedokáže dobre popísať dáta (podfit).
• Variačný (rozptyl) — chyba súvisiaca s tým, že model je príliš citlivý na šum v tréningových dátach a zle generalizuje na nové dáta (pretrénovanie).

Ak je model príliš jednoduchý, bude mať vysoký bias a nízku varianciu. Ak je príliš zložitý, bude mať nízky bias, ale vysokú varianciu.

Cieľom je nájsť rovnováhu, kedy je model dostatočne zložitý, aby zachytil vzory, ale nie tak, aby sa prispôsobil šumu.

Príklad: pri tréningu regresie s nízkym stupňom polynómov (lineárna regresia) bude bias vysoký a variancia nízka; pri vysokom stupni polynómu — naopak.