Ce este supraînvățarea? Care sunt modalitățile de a o combate?

Overfitting (supraîncărcarea) este o situație în care un model de învățare automată se potrivește prea bine datelor de antrenament, inclusiv zgomotul și fluctuațiile aleatorii, și din cauza acestui fapt generalizează slab pe date noi, nevăzute.

Modalități de combatere a overfitting-ului:

• Regularizare (L1, L2) — adăugarea unei penalizări pentru complexitatea modelului pentru a preveni ponderi prea mari.
• Oprirea timpurie — oprirea antrenamentului când calitatea pe setul de validare începe să se deterioreze.
• Creșterea volumului de date — mai multe date ajută modelul să generalizeze mai bine.
• Validare încrucișată — ajută la evaluarea capacității de generalizare a modelului și la ajustarea parametrilor.
• Dropout (pentru rețele neuronale) — dezactivarea aleatorie a neuronilor în timpul antrenamentului pentru a preveni dependența de anumite caracteristici.
• Simplificarea modelului — reducerea numărului de parametri sau straturi.

Exemplu de regularizare în regresia liniară:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # Regularizare L2
model.fit(X_train, y_train)