Какво е пренасищане? Какви са начините за борба с него?

Overfitting (прекалено адаптиране) е ситуация, при която моделът за машинно обучение се адаптира твърде добре към обучаващите данни, включително шум и случайни колебания, и поради това се представя зле при нови, невиждани данни.

Начини за борба с overfitting:

• Регуляризация (L1, L2) — добавяне на наказание за сложността на модела, за да се предотвратят прекалено големи тежести.
• Ранно спиране — спиране на обучението, когато качеството на валидирането започне да се влошава.
• Увеличаване на обема на данните — повече данни помага на модела да се обобщава по-добре.
• Крос-валидация — помага да се оцени способността на модела да се обобщава и да се настроят параметрите.
• Dropout (за невронни мрежи) — случайно изключване на неврони по време на обучение, за да се избегне зависимост от определени характеристики.
• Улесняване на модела — намаляване на броя на параметрите или слоевете.

Пример за регуляризация в линейна регресия:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 регуляризация
model.fit(X_train, y_train)