Šta je preučenje i kako se boriti protiv njega?

Overfitting (prekomerno prilagođavanje) je situacija kada model mašinskog učenja previše dobro odgovara podacima za obuku, uključujući šum i slučajne oscilacije, i loše generalizuje na nove podatke.

Kako se boriti protiv prekomernog prilagođavanja:

• Koristiti više podataka za obuku.
• Regularizacija (L1, L2) — dodavanje kazni za složenost modela.
• Rano zaustavljanje — zaustavljanje obuke kada se kvaliteta na validaciji počne pogoršavati.
• Kros-validacija — za procenu sposobnosti generalizacije.
• Smanjenje složenosti modela — na primer, smanjenjem broja parametara.
• Povećanje podataka — kreiranje dodatnih primera za obuku.

Primer regularizacije u Pythonu koristeći sklearn:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 regularizacija
model.fit(X_train, y_train)