Wat fungeert als weegschaal bij gradient boosting?

In gradient boosting worden de gewichten weergegeven door de gradiënten, die de afgeleiden zijn van de verliesfunctie met betrekking tot de voorspellingen van het model in de huidige stap. Deze gradiënten tonen aan hoe sterk de voorspellingen moeten worden aangepast om de fout te verminderen.

Bij elke stap wordt een nieuw model (meestal een boom) gebouwd dat leert de negatieve gradiënten (fouten) van het vorige model te voorspellen. Dus, de gewichten zijn de fouten die moeten worden worden gecorrigeerd, en ze sturen de training van het volgende model om het uiteindelijke resultaat te verbeteren.

Voorbeeld: als de verliesfunctie MSE is, zullen de gradiënten het verschil zijn tussen de voorspelde en de werkelijke waarden, en het nieuwe model zal proberen dit verschil te voorspellen.