Cos'è il trade-off tra bias e varianza?

Il trade-off tra bias e varianza è un concetto fondamentale nell'apprendimento automatico, che descrive il compromesso tra due tipi di errori durante l'addestramento di un modello:

• Bias (pregiudizio) — errore causato da un modello troppo semplice che non riesce a descrivere bene i dati (sottodimensionamento).
• Varianza — errore legato al fatto che il modello è troppo sensibile al rumore nei dati di addestramento e si generalizza male a nuovi dati (overfitting).

Se il modello è troppo semplice, avrà un bias elevato e una varianza bassa. Se è troppo complesso, avrà un bias basso ma una varianza elevata.

L'obiettivo è trovare un equilibrio in cui il modello sia abbastanza complesso da catturare le tendenze, ma non troppo da adattarsi al rumore.

Esempio: addestrando una regressione con polinomi di basso grado (regressione lineare), il bias sarà alto e la varianza bassa; con un polinomio di grado elevato, il contrario.