Was ist Pseudo-Labeling bei tabellarischen Aufgaben?

Pseudo-Labeling ist eine semiüberwachte Lernmethode, die häufig bei tabellarischen Daten eingesetzt wird. Die Idee ist, ein auf gelabelten Daten trainiertes Modell zu verwenden, um Labels für ungelabelte Daten vorherzusagen, und diese vorhergesagten Labels (Pseudo-Labels) dann zum Trainingssatz hinzuzufügen, um das Training fortzusetzen.

Bei tabellarischen Boosting-Aufgaben hilft dies, die Menge der Trainingsdaten zu erhöhen, insbesondere wenn nur wenige gelabelte Daten vorhanden sind. Zum Beispiel prognostiziert das Modell nach der ersten Trainingsphase auf gelabelten Daten Labels für ungelabelte Datensätze. Diese Datensätze mit Pseudo-Labels werden dann zum Trainingssatz hinzugefügt, und das Modell wird auf dem erweiterten Datensatz weiter trainiert.

Es ist wichtig, die Qualität der Pseudo-Labels zu kontrollieren, z.B. indem nur Vorhersagen ausgewählt werden, bei denen das Modell sich sicher ist (nach Wahrscheinlichkeit), um die Qualität des Trainings nicht zu verschlechtern.

Beispiel in Pseudocode:

# Training auf gelabelten Daten
model.fit(X_labeled, y_labeled)

# Vorhersage auf ungelabelten Daten
pseudo_labels = model.predict(X_unlabeled)

# Auswahl der vertrauenswürdigen Vorhersagen
confident_indices = [i for i, p in enumerate(model.predict_proba(X_unlabeled)) if max(p) > threshold]

# Hinzufügen der Pseudo-Labels zum Trainingssatz
X_extended = np.concatenate([X_labeled, X_unlabeled[confident_indices]])
y_extended = np.concatenate([y_labeled, pseudo_labels[confident_indices]])

# Weiteres Training des Modells
model.fit(X_extended, y_extended)