Wat is pseudo-labeling bij tabeltaken?

Pseudo-labeling is een semi-supervised leermethode die vaak wordt toegepast bij taken met tabelgegevens. Het idee is om een model dat getraind is op gelabelde gegevens te gebruiken om labels te voorspellen op niet-gelabelde gegevens, en deze voorspelde labels (pseudo-labels) vervolgens aan de trainingsset toe te voegen voor verdere training.

Bij tabeltaken met boosting helpt dit om de hoeveelheid trainingsgegevens te vergroten, vooral wanneer er weinig gelabelde gegevens zijn. Bijvoorbeeld, na de eerste fase van training op gelabelde gegevens, voorspelt het model labels voor niet-gelabelde records. Deze records met pseudo-labels worden vervolgens toegevoegd aan de trainingsset, en het model wordt verder getraind op deze uitgebreide set.

Het is belangrijk om de kwaliteit van de pseudo-labels te controleren, bijvoorbeeld door alleen die voorspellingen te selecteren waarbij het model zeker is (volgens waarschijnlijkheid), om de kwaliteit van de training niet te verslechteren.

Voorbeeld in pseudocode:

# Training op gelabelde gegevens
model.fit(X_labeled, y_labeled)

# Voorspelling op niet-gelabelde gegevens
pseudo_labels = model.predict(X_unlabeled)

# Selectie van betrouwbare voorspellingen
confident_indices = [i for i, p in enumerate(model.predict_proba(X_unlabeled)) if max(p) > threshold]

# Toevoegen van pseudo-labels aan de trainingsset
X_extended = np.concatenate([X_labeled, X_unlabeled[confident_indices]])
y_extended = np.concatenate([y_labeled, pseudo_labels[confident_indices]])

# Verder trainen van het model
model.fit(X_extended, y_extended)