Was ist semi-supervised learning und Self-Training?

Semi-überwachtes Lernen ist ein Ansatz im maschinellen Lernen, der sowohl gelabelte als auch ungelabelte Daten zur Modellschulung verwendet. Normalerweise gibt es wenige gelabelte Daten und viele ungelabelte, und semi-überwachte Methoden helfen, die Modellqualität zu verbessern, indem sie zusätzliche Informationen aus den ungelabelten Daten nutzen.

Selbsttraining ist eine der Methoden des semi-überwachten Lernens. Die Idee ist, dass das Modell zunächst mit gelabelten Daten trainiert wird, dann Vorhersagen für ungelabelte Daten macht, die vertrauenswürdigsten Vorhersagen auswählt und sie dem Trainingssatz hinzufügt, um das Training zu wiederholen. Dieser Prozess kann mehrfach wiederholt werden, um den Trainingssatz schrittweise zu erweitern.

Beispiel für Selbsttraining:

# Pseudocode
model.train(gelabelte_daten)
for iteration in range(N):
    pseudo_labels = model.predict(ungelabelte_daten)
    vertrauenswürdige_stichproben = select_confident(pseudo_labels)
    gelabelte_daten += vertrauenswürdige_stichproben
    ungelabelte_daten -= vertrauenswürdige_stichproben
    model.train(gelabelte_daten)

Auf diese Weise hilft das Selbsttraining, ungelabelte Daten zur Verbesserung der Modellqualität zu nutzen, bei begrenzter Anzahl gelabelter Beispiele.