CVдеги self-distillation деген эмне?

Өз-өзүн-өзү айкындоо компьютердик көрүүдө — бул бир эле моделди окутуучу жана окуучу катары колдонуу ыкмасы. Идеясы — модел өз алдынча болжаууларында үйрөнүп, сапатын жакшыртуу, өзүнчө чоң окутуучу моделге муктаж болбой.

Мисал: биринчи, модель белгиленген маалыматтарда үйрөтүлөт, андан соң ал ошол эле маалыматтар үчүн же кошумча маалыматтар үчүн "жумшак" (soft labels) белгилер түзөт жана кайра ошол белгилерде үйрөнөт, бул жалпылаштыруу жөндөмүн жакшыртууга жардам берет.

Бул моделдин тактыгын жана туруктуулугун арттырып, анын өлчөмүн чоңойтпостон жардам берет.