¿Qué es el boosting?

El boosting es un método de aprendizaje en conjunto que entrena secuencialmente varios modelos débiles (generalmente árboles de decisión), cada uno corrigiendo los errores de los anteriores. Al final, se obtiene un modelo fuerte con alta precisión. La idea principal es prestar más atención en cada paso a los objetos en los que los modelos anteriores fallaron.

Ejemplo: AdaBoost, Gradient Boosting, XGBoost son implementaciones populares de boosting.

Ejemplo en Python usando sklearn:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)
print(f"Precisión: {model.score(X_test, y_test):.2f}")