Czym jest destylacja?

Destylacja wiedzy (knowledge distillation) to metoda w uczeniu maszynowym, w której wiedza z dużego, złożonego modelu (nauczyciela) jest przekazywana do bardziej kompaktowego i szybkiego modelu (ucznia). Celem jest zachowanie wysokiej dokładności przy zmniejszeniu rozmiaru i kosztów obliczeniowych modelu.

Proces zazwyczaj obejmuje szkolenie ucznia na wyjściach nauczyciela (np. na prawdopodobieństwach klas), a nie tylko na oryginalnych etykietach. Pomaga to uczniowi lepiej uogólniać i naśladować zachowanie nauczyciela.

Przykład zastosowania: duża sieć neuronowa jest trenowana na dużym zbiorze danych, a następnie jej wiedza jest destylowana do małego modelu, który można używać na urządzeniach mobilnych z ograniczonymi zasobami.