Na czym polega kompromis między błędem systematycznym a wariancją?

Trade-off między bias a wariancją jest podstawową koncepcją w uczeniu maszynowym, opisującą kompromis między dwoma typami błędów podczas trenowania modelu:

• Bias (stronniczość) — błąd wynikający z zbyt prostego modelu, który nie potrafi dobrze opisać danych (niedopasowanie).
• Wariancja — błąd związany z tym, że model jest zbyt wrażliwy na szum w danych treningowych i źle generalizuje na nowe dane (przeuczenie).

Jeśli model jest zbyt prosty, będzie miał wysokie bias i niską wariancję. Jeśli jest zbyt skomplikowany, bias będzie niski, ale wariancja wysoka.

Celem jest znalezienie równowagi, w której model jest wystarczająco skomplikowany, aby uchwycić wzorce, ale nie za bardzo, aby nie dopasowywał się do szumu.

Przykład: podczas uczenia regresji z niskiego stopnia wielomianami (regresja liniowa), bias będzie wysoki, a wariancja niska; przy wysokim stopniu wielomianu — odwrotnie.