Prečo sú stromy náchylné k preučeniu v porovnaní s lineárnymi modelmi?

Stromy (napríklad rozhodovacie stromy) majú tendenciu k pretrénovaniu viac ako lineárne modely kvôli ich vysokej flexibilite a schopnosti presne sa prispôsobiť tréningovým dátam.

Dôvody:

• Vysoká výrazová schopnosť: strom môže vytvárať zložité rozdelenia v priestore znakov, čo umožňuje dokonalé prispôsobenie šumu a odchýlkam.
• Chýbajúca predvolená regulárizácia: bez obmedzení na hĺbku alebo minimálny počet objektov v liste môže strom rásť veľmi hlboko, pamätajúc si detaily tréningovej sady.
• Miestne rozhodnutia: strom vytvára pravidlá, ktoré dobre fungujú na tréningových dátach, ale môžu zle generalizovať na nové dáta.

Na rozdiel od lineárnych modelov, ktoré sú obmedzené na lineárne závislosti a zvyčajne majú menej parametrov, stromy môžu modelovať zložité nelineárne závislosti, čo zvyšuje riziko pretrénovania.

Na boj s týmto sa používajú metódy regulácie (obmedzenie hĺbky, minimálny počet objektov v liste) a ansámble (Random Forest, Gradient Boosting), ktoré znižujú pretrénovanie prostredníctvom priemerovania.