Пештарзи чӣ гуна аст? Чӣ гуна метавон бо он мубориза бурд?

Overfitting (ҳаддан ташқари мослашиш) — бу, машина ўрганиш модели ўқитиш маълумотларига жуда яхши мослашган ҳолат, шу жумладан шовқин ва тасодифий ўзгаришларни ҳам ўз ичига олади, ва шу сабабли янги, кўрилмаган маълумотларга ёмон умумлашади.

Overfitting билан курашиш усуллари:

• Регуляризация (L1, L2) — моделнинг мураккаблигини жазолаш, жуда катта вазнларни олдини олиш учун.
• Эрта тўхтатиш — ўқитишни тўхтатиш, валидатсия тўпламида сифат ёмонлашиш бошланганда.
• Маълумот ҳажмини ошириш — кўпроқ маълумот моделга яхшироқ умумлашишга ёрдам беради.
• Крос-валидатсия — моделнинг умумлашиш қобилиятини баҳолаш ва параметрларни танлашда ёрдам беради.
• Dropout (нейрон тармоқлари учун) — ўқитиш давомида нейронларни тасодифий ўчириш, муайян хусусиятларга боғлиқликни олдини олиш.
• Моделни соддалаштириш — параметрлар ёки қатламлар сонини камайтириш.

Линей regressiyada регуларизация мисоли:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 регуларизация
model.fit(X_train, y_train)