Was ist Konsistenzregularisierung (FixMatch)?

Konsistenzregularisierung ist eine Methode im Bereich des Lernens mit teilweise beschrifteten Daten, die voraussetzt, dass das Modell stabile Vorhersagen für verschiedene Variationen desselben Eingangs liefern sollte. Bei FixMatch wird dieses Prinzip durch die Verwendung von schwachen und starken Datenaugmentationen umgesetzt: Das Modell generiert Pseudo-Labels bei schwacher Augmentation und trainiert dann bei starker Augmentation, wobei angestrebt wird, dass die Vorhersagen übereinstimmen.

Beispiel: Für ein Bild wird zunächst eine leichte Augmentation angewendet (z.B. eine kleine Helligkeitsänderung), das Modell sagt die Klasse voraus, und wenn die Zuversicht hoch genug ist, wird diese Vorhersage als Pseudo-Label verwendet. Dann wird auf dasselbe Bild eine starke Augmentation angewendet (z.B. zufälliges Zuschneiden, Drehen), und das Modell wird trainiert, damit die Vorhersage bei starker Augmentation mit dem Pseudo-Label übereinstimmt.

Dies hilft, unbeschriftete Daten effektiv zu nutzen und verbessert die Generalisierungsfähigkeit des Modells.