Was ist Self-Distillation in CV?

Selbstdestillation in der Computer Vision ist eine Methode, bei der dasselbe Modell sowohl als Lehrer als auch als Schüler verwendet wird. Die Idee ist, dass das Modell anhand seiner eigenen Vorhersagen trainiert wird, um die Qualität zu verbessern, ohne dass ein separates großes Lehrermodell erforderlich ist.

Beispiel: Zuerst wird das Modell auf annotierten Daten trainiert, dann generiert es "weiche" Labels (Soft Labels) für dieselben oder zusätzliche Daten und trainiert erneut auf diesen Labels, was hilft, die Generalisierungsfähigkeit zu verbessern.

Dies trägt dazu bei, die Genauigkeit und Robustheit des Modells zu erhöhen, ohne seine Größe zu vergrößern.