Ce metode de combatere a supraînvățării există și cum funcționează?

Overfitting-ul apare atunci când modelul se potrivește prea bine datelor de antrenament, pierzând capacitatea de a generaliza la date noi. Metode pentru combaterea overfitting-ului:

• Regularizare — adăugarea unei penalizări la funcția de pierdere pentru complexitatea modelului. De exemplu, regularizările L1 (Lasso) și L2 (Ridge) reduc greutățile parametrilor, prevenind supraîncărcarea.

• Oprirea timpurie — oprirea antrenamentului când eroarea pe setul de validare începe să crească.

• Validarea încrucișată — ajută la evaluarea capacității de generalizare a modelului și la alegerea hiperparametrilor optimi.

• Augmentarea datelor — crearea de exemple suplimentare de antrenament pentru a crește diversitatea datelor.

• Dropout (pentru rețele neuronale) — dezactivarea aleatorie a unor neuroni în timpul antrenamentului, reducând dependența de caracteristici specifice.

• Reducerea complexității modelului — alegerea unui model mai simplu cu mai puțini parametri.

Exemplu de regularizare L2 în funcția de pierdere:

( Loss = Loss_{original} + \lambda \sum w_i^2 )

unde ( \lambda ) este coeficientul de regularizare, ( w_i ) sunt greutățile modelului.