Kas yra self-distillation CV?

Savičio distiliacija kompiuterinio matymo srityje yra metodas, kai tas pats modelis naudojamas tiek kaip mokytojas, tiek kaip mokinys. Idėja ta, kad modelis mokosi iš savo pačių prognozių, gerindamas kokybę be atskiro didelio mokytojo modelio.

Pavyzdys: pirmiausia modelis mokomas naudodamas pažymėtus duomenis, tada jis generuoja "minkštas" (soft labels) žymes tomis pačiomis ar papildomomis duomenimis ir vėl mokosi pagal šias žymes, kas padeda pagerinti bendrąją gebėjimą.

Tai padeda padidinti modelio tikslumą ir stabilumą nesumažinant jo dydžio.