Qual è il compromesso tra sottoallenamento e sovrallenamento?

Il compromesso tra underfitting e overfitting è un equilibrio tra un modello troppo semplice e uno troppo complesso.

• Underfitting si verifica quando il modello è troppo semplice e non riesce a catturare le tendenze nei dati. Di conseguenza, funziona male sia sui dati di addestramento che su quelli nuovi.

• Overfitting si verifica quando il modello è troppo complesso e memorizza il rumore e le caratteristiche casuali dei dati di addestramento, peggiorando la sua capacità di generalizzare a nuovi dati.

Il compromesso si ottiene scegliendo un modello e parametri abbastanza complessi da catturare dipendenze importanti, ma non così complessi da memorizzare il rumore. A tal fine, si utilizzano metodi di regolarizzazione, validazione incrociata e ottimizzazione degli iperparametri.

Esempio: se hai un modello di regressione troppo semplice (ad esempio, lineare in una dipendenza complessa), sarà sottofittato, mentre se è troppo complesso (ad esempio, un polinomio di alto grado), sarà overfittato.