Šta je pretreniravanje? Koje su metode za borbu s tim?

Overfitting (прекомерно прилагођавање) је ситуација у којој модел машинског учења превише добро прилагођава податке за обуку, укључујући шум и случајне флуктуације, и због тога лоше обухвата нове, невидљиве податке.

Начини борбе против overfitting-а:

• Регуларизација (L1, L2) — додавање казне за сложеност модела како би се спречиле превелике тежине.
• Рано заустављање — заустављање обуке када се квалитет на валидационом скупу почне погоршавати.
• Повећање обима података — више података помаже моделу да боље обухвати податке.
• Крос-валидација — помаже у процени способности модела да обухвати податке и прилагођава параметре.
• Dropout (за неуронске мреже) — случајно искључивање неурона током обуке како би се избегла зависност од одређених карактеристика.
• Упрошћавање модела — смањење броја параметара или слојева.

Пример регуларизације у линеарној регресији:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 регуларизација
model.fit(X_train, y_train)