Co je to trade-off mezi zaujatostí a rozptylem?

Trade-off mezi biasem a variancí je základní koncept v strojovém učení, který popisuje kompromis mezi dvěma typy chyb při tréninku modelu:

• Bias (zkreslení) — chyba vznikající příliš jednoduchým modelem, který nedokáže dobře popsat data (podfit).
• Variační (rozptyl) — chyba související s tím, že model je příliš citlivý na šum v trénovacích datech a špatně generalizuje na nová data (přetrénování).

Pokud je model příliš jednoduchý, bude mít vysoký bias a nízkou varianci. Pokud je příliš složitý, bude mít nízký bias, ale vysokou varianci.

Cílem je najít rovnováhu, kdy je model dostatečně složitý, aby zachytil vzory, ale ne tak, aby se přizpůsobil šumu.

Příklad: při tréninku regrese s nízkým stupněm polynomů (lineární regrese) bude bias vysoký a variace nízká; při vysokém stupni polynomů — naopak.