Qu'est-ce que le pseudo-labeling dans les tâches tabulaires?

Le pseudo-élèvement est une méthode d'apprentissage semi-supervisé souvent utilisée dans les tâches avec des données tabulaires. L'idée est d'utiliser un modèle entraîné sur des données annotées pour prédire des étiquettes sur des données non annotées, puis d'ajouter ces étiquettes prédites (pseudo-étiquettes) à l'ensemble d'apprentissage pour un entraînement ultérieur.

Dans les tâches tabulaires avec boosting, cela aide à augmenter la quantité de données d'entraînement, surtout lorsque peu de données annotées sont disponibles. Par exemple, après la première étape d'entraînement du modèle sur des données annotées, le modèle prédit des étiquettes pour des enregistrements non annotés. Ensuite, ces enregistrements avec pseudo-étiquettes sont ajoutés à l'ensemble d'entraînement, et le modèle est entraîné davantage sur cet ensemble étendu.

Il est important de contrôler la qualité des pseudo-étiquettes, par exemple en ne sélectionnant que les prédictions dont le modèle est sûr (par probabilité), afin de ne pas dégrader la qualité de l'apprentissage.

Exemple en pseudocode :

# Entraînement sur des données annotées
model.fit(X_labeled, y_labeled)

# Prédiction sur des données non annotées
pseudo_labels = model.predict(X_unlabeled)

# Sélection des prédictions confiantes
confident_indices = [i for i, p in enumerate(model.predict_proba(X_unlabeled)) if max(p) > threshold]

# Ajout des pseudo-étiquettes à l'ensemble d'entraînement
X_extended = np.concatenate([X_labeled, X_unlabeled[confident_indices]])
y_extended = np.concatenate([y_labeled, pseudo_labels[confident_indices]])

# Entraînement supplémentaire du modèle
model.fit(X_extended, y_extended)