Mis on self-distillation CV-s?

Sõltumatu distillatsioon arvutinägemises on meetod, kus sama mudel kasutatakse nii õpetajana kui ka õpilasena. Idee on see, et mudel õpib omaenda prognooside põhjal, parandades kvaliteeti ilma vajaduseta eraldi suure õpetajamudeli järele.

Näide: esmalt treenitakse mudelit märgistatud andmetel, seejärel genereerib see "pehmeid" (soft labels) sildid sama või täiendavate andmete jaoks ning treenib uuesti nende siltide põhjal, mis aitab parandada üldistamisvõimet.

See aitab suurendada mudeli täpsust ja stabiilsust ilma selle suurust suurendamata.