Mi az a self-distillation a CV-ben?

Ön-elsajátítás a számítógépes látásban egy olyan módszer, ahol ugyanaz a modell egyaránt tanárként és tanulóként is működik. Az ötlet az, hogy a modellt saját előrejelzései alapján tanítják, javítva a minőséget külön nagy tanármodell nélkül.

Példa: először a modellt címkézett adatokon tanítják, majd "puha" (soft labels) címkéket generál ugyanarra vagy további adatokra, és újra tanítja ezeken a címkéken, ami segít javítani az általánosító képességet.

Ez segít növelni a modell pontosságát és stabilitását anélkül, hogy növelné a méretét.