Czym jest przeuczenie i jak sobie z nim radzić?

Przeuczenie (overfitting) — to sytuacja, gdy model uczenia maszynowego dopasowuje się zbyt dobrze do danych treningowych, w tym szumu i losowych wahań, i słabo generalizuje na nowe dane.

Jak walczyć z przeuczeniem:

• Używać więcej danych do treningu.
• Regularyzacja (L1, L2) — dodanie kar za złożoność modelu.
• Wczesne zatrzymanie treningu — zatrzymanie treningu, gdy jakość na walidacji zaczyna się pogarszać.
• Walidacja krzyżowa — do oceny zdolności generalizacji.
• Zmniejszenie złożoności modelu — np. zmniejszenie liczby parametrów.
• Augmentacja danych — tworzenie dodatkowych przykładów treningowych.

Przykład regularyzacji w Pythonie z użyciem sklearn:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # Regularyzacja L2
model.fit(X_train, y_train)