Wat is de bias-variance trade-off?

Bias-variance trade-off is een fundamenteel concept in machine learning, dat de compromis beschrijft tussen twee soorten fouten bij het trainen van een model:

• Bias (vertekening) — fout die ontstaat door een te eenvoudig model dat de gegevens niet goed kan beschrijven (onderfitting).
• Verschil (variantie) — fout gerelateerd aan het feit dat het model te gevoelig is voor ruis in de trainingsgegevens en slecht generaliseert naar nieuwe gegevens (overfitting).

Als het model te eenvoudig is, zal het een hoge bias en een lage variantie hebben. Als het te complex is, zal het een lage bias maar een hoge variantie hebben.

Het doel is een balans te vinden waarbij het model voldoende complex is om patronen te vangen, maar niet zo complex dat het zich aan het ruis aanpast.

Voorbeeld: bij het trainen van een regressie met lage graad polynomen (lineaire regressie), zal de bias hoog en de variantie laag zijn; bij een hooggradig polynoom is het omgekeerd.