Wat is semi-supervised leren en zelftraining?

Semi-supervised leren is een aanpak binnen machine learning waarbij zowel gelabelde als niet-gelabelde gegevens worden gebruikt om het model te trainen. Meestal zijn er weinig gelabelde gegevens en veel niet-gelabelde gegevens, en semi-supervised methoden helpen de kwaliteit van het model te verbeteren door gebruik te maken van aanvullende informatie uit de niet-gelabelde gegevens.

Self-training is een van de methoden van semi-supervised leren. Het idee is dat het model eerst wordt getraind op gelabelde gegevens, vervolgens voorspellingen doet voor niet-gelabelde gegevens, de meest betrouwbare voorspellingen selecteert en deze toevoegt aan de trainingsset voor hertraining. Dit proces kan meerdere keren worden herhaald, waardoor de trainingsset geleidelijk wordt uitgebreid.

Voorbeeld van self-training:

# Pseudo-code
model.train(gelabelde_data)
for iteratie in range(N):
    pseudo_labels = model.predict(ongelabelde_data)
    vertrouwbare_monsters = select_confident(pseudo_labels)
    gelabelde_data += vertrouwbare_monsters
    ongelabelde_data -= vertrouwbare_monsters
    model.train(gelabelde_data)

Op deze manier helpt self-training om niet-gelabelde gegevens te gebruiken om de kwaliteit van het model te verbeteren bij een beperkte hoeveelheid gelabelde voorbeelden.