Na czym polega kompromis między niedoświeceniem a przeładowaniem?

Kompromis między niedoobserwaniem (underfitting) a przeuczeniem (overfitting) to równowaga między modelem zbyt prostym a zbyt skomplikowanym.

• Niedoobserwowanie występuje, gdy model jest zbyt prosty i nie potrafi uchwycić wzorców w danych. W rezultacie działa słabo zarówno na danych treningowych, jak i nowych.

• Przeuczenie pojawia się, gdy model jest zbyt skomplikowany i zapamiętuje szumy oraz przypadkowe cechy danych treningowych, co pogarsza jego zdolność do uogólniania na nowe dane.

Kompromis osiąga się poprzez dobór takiego modelu i parametrów, które są wystarczająco skomplikowane, aby uchwycić istotne zależności, ale nie na tyle, aby zapamiętywać szumy. W tym celu stosuje się metody regularyzacji, walidacji krzyżowej i strojenia hiperparametrów.

Przykład: jeśli masz model regresji zbyt prosty (np. liniowy przy skomplikowanej zależności), będzie niedoobserwowany, a zbyt skomplikowany (np. wielomian wysokiego stopnia) — przeuczony.