¿Qué es el compromiso entre sesgo y varianza?

El compromiso entre sesgo y varianza es un concepto fundamental en aprendizaje automático, que describe el compromiso entre dos tipos de errores al entrenar un modelo:

• Sesgo (bias): error que surge debido a un modelo demasiado simple que no puede describir bien los datos (subajuste).
• Varianza (variance): error relacionado con que el modelo es demasiado sensible al ruido en los datos de entrenamiento y generaliza mal a nuevos datos (sobreajuste).

Si el modelo es demasiado simple, tendrá un sesgo alto y una varianza baja. Si es demasiado complejo, tendrá un sesgo bajo pero una varianza alta.

El objetivo es encontrar un equilibrio en el que el modelo sea lo suficientemente complejo para captar patrones, pero no tanto como para ajustarse al ruido.

Ejemplo: al entrenar una regresión con polinomios de bajo grado (regresión lineal), el sesgo será alto y la varianza baja; con un polinomio de grado alto, lo contrario.