Какво е пренасищане и как да се борим с него?

Прекаляване (overfitting) — това е ситуация, когато моделът за машинно обучение се адаптира прекалено добре към обучаващите данни, включително шум и случайни колебания, и слабо обобщава на нови данни.

Как да се борим с прекаленото адаптиране:

• Използвайте повече данни за обучение.
• Регуляризация (L1, L2) — добавяне на наказания за сложността на модела.
• Ранно спиране — спиране на обучението, когато качеството на валидирането започне да се влошава.
• Крос-валидация — за оценка на способността за обобщаване.
• Намаляване на сложността на модела — например, намаляване на броя на параметрите.
• Увеличаване на данните — създаване на допълнителни обучаващи примери.

Пример за регуляризация в Python с sklearn:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 регуляризация
model.fit(X_train, y_train)