Kas yra distiliacija?

Žinių distiliacija (knowledge distillation) yra mašininio mokymosi metodas, kai didelis, sudėtingas modelis (mokytojas) perduoda savo žinias į kompaktiškesnį ir greitesnį modelį (mokinius). Tikslas – išlaikyti aukštą tikslumą sumažinant modelio dydį ir skaičiavimo išlaidas.

Procesas dažnai apima mokymąsi iš mokytojo išėjimų (pvz., klasės tikimybių), o ne tik iš pradinės žymės. Tai padeda mokiniui geriau apibendrinti ir priartinti mokytojo elgesį.

Pavyzdys: didelė neuroninė tinklas mokomas dideliame duomenų rinkinyje, o vėliau jos žinios distiliuojamos į mažesnį modelį, kurį galima naudoti mobiliuose įrenginiuose su ribotais ištekliais.