Was ist der Bias-Variance-Tradeoff?

Das Bias-Variance-Tradeoff ist ein grundlegendes Konzept im maschinellen Lernen, das den Kompromiss zwischen zwei Arten von Fehlern beim Trainieren eines Modells beschreibt:

• Bias (Verzerrung) — Fehler, der durch ein zu einfaches Modell entsteht, das die Daten nicht gut beschreiben kann (Underfitting).
• Varianz — Fehler, der damit zusammenhängt, dass das Modell zu empfindlich gegenüber Rauschen in den Trainingsdaten ist und schlecht auf neue Daten generalisiert (Overfitting).

Wenn das Modell zu einfach ist, hat es eine hohe Verzerrung und eine niedrige Varianz. Wenn es zu komplex ist, hat es eine niedrige Verzerrung, aber eine hohe Varianz.

Das Ziel ist, ein Gleichgewicht zu finden, bei dem das Modell ausreichend komplex ist, um Muster zu erfassen, aber nicht so sehr, dass es sich an das Rauschen anpasst.

Beispiel: Beim Training einer Regression mit niedrigen Grad Polynomialen (lineare Regression) ist die Verzerrung hoch und die Varianz niedrig; bei hoher Polynomialordnung ist es umgekehrt.