Mi az a desztilláció?

A tudásdistilláció (knowledge distillation) egy gépi tanulási módszer, amely során egy nagy, összetett modell (tanár) tudását egy kompaktabb és gyorsabb modellbe (diák) transzferálják. A cél magas pontosság megtartása a modell méretének és számítási költségeinek csökkentése mellett.

A folyamat általában magában foglalja a diák képzését a tanár kimenetein (például osztály valószínűségeken), nem csak az eredeti címkéken. Ez segít a diáknak jobban általánosítani és közelíteni a tanár viselkedését.

Alkalmazási példa: egy nagy neurális hálózat nagy adathalmazon tanul, majd tudását kis modellbe distillálják, amit korlátozott erőforrásokkal rendelkező mobil eszközökön lehet használni.