Was passiert mit der Qualität jedes Modells, wenn das erste gebaute Baum in einem Gradient Boosting und einem Zufallswald mit 1000 Bäumen entfernt wird?

Im Fall eines Zufallswaldes wird jeder Baum unabhängig gebaut, und die endgültige Vorhersage ist ein Durchschnitt (Regression) oder eine Abstimmung (Klassifikation) aller Bäume. Wenn der erste Baum entfernt wird, verschlechtert sich die Modellqualität leicht, aber nicht erheblich, da die anderen 999 Bäume weiterhin funktionieren und den Verlust ausgleichen.

Im Fall des Gradienten-Boostings werden die Bäume sequenziell gebaut, jeder lernt aus den Fehlern der vorherigen. Der erste Baum legt eine Anfangsnäherung fest. Wird der erste Baum entfernt, wird die gesamte Sequenz gestört, und die Modellqualität verschlechtert sich stark, da die nachfolgenden Bäume den Fehler ohne die Anfangsnäherung nicht korrekt ausgleichen können.

Ergebnis:

• Zufallswald: leichte Verschlechterung der Qualität, das Modell bleibt funktionsfähig.
• Gradient Boosting: erhebliche Verschlechterung der Qualität, das Modell verliert ohne den ersten Baum seinen Sinn.