Čo je pretrénovanie? Aké sú spôsoby boja s ním?

Overfitting (preučenie) je situácia, keď model strojového učenia príliš dobre prispôsobí tréningové údaje, vrátane šumu a náhodných výkyvov, a preto zle generalizuje na nové, nevidené údaje.

Spôsoby boja s overfittingom:

• Regularizácia (L1, L2) — pridanie trestu za zložitosť modelu, aby sa zabránilo príliš veľkým váham.
• Včasné zastavenie — zastavenie tréningu, keď sa kvalita na validačnej sade začína zhoršovať.
• Zvýšenie objemu dát — viac dát pomáha modelu lepšie generalizovať.
• Kros-validácia — pomáha odhadnúť schopnosť modelu generalizovať a doladiť parametre.
• Dropout (pre neurónové siete) — náhodné vypínanie neurónov počas tréningu, aby sa predišlo závislosti od určitých znakov.
• Zjednodušenie modelu — zníženie počtu parametrov alebo vrstiev.

Príklad regularizácie v lineárnej regresii:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 regularizácia
model.fit(X_train, y_train)