Mi az a bias-variance trade-off?

Bias-variancia kompromisszum — alapvető fogalom a gépi tanulásban, amely leírja a két típusú hibák közötti egyensúlyt egy modell tanítása során:

• Bias (elfogultság) — hiba, amely egy túl egyszerű modellből ered, amely nem képes jól leírni az adatokat (alulillesztés).
• Variaancia — hiba, amely abból adódik, hogy a modell túl érzékeny a tanulási adatok zajára, és rosszul általánosít új adatokra (túlillesztés).

Ha a modell túl egyszerű, magas bias és alacsony variancia lesz. Ha túl bonyolult, alacsony bias, de magas variancia.

A cél megtalálni az egyensúlyt, ahol a modell elég bonyolult ahhoz, hogy megragadja a mintázatokat, de nem túl, hogy alkalmazkodjon a zajhoz.

Példa: alacsony fokú polinomokkal végzett regresszió tanításakor (lineáris regresszió), a bias magas és a variancia alacsony; magas fokú polinomok esetén — fordítva.