Какво е self-distillation в CV?

Самодестилацията в компютърното зрение е метод, при който един и същи модел се използва както като учител, така и като ученик. Идеята е моделът да се обучава на собствените си предсказания, подобрявайки качеството без необходимост от отделен голям учителски модел.

Пример: първо моделът се обучава на означени данни, след което генерира "меките" етикети (soft labels) за същите или допълнителни данни и се обучава повторно на тези етикети, което помага за подобряване на способността за обобщаване.

Това помага да се увеличи точността и устойчивостта на модела без да се увеличава размерът му.