Distilasyon nedir?

Knowledge distillation (bilgi damıtma) makine öğreniminde kullanılan bir yöntemdir ve burada büyük, karmaşık bir modelden (öğretmen) alınan bilgiler daha kompakt ve hızlı bir modele (öğrenci) aktarılır. Amaç, modelin boyutunu ve hesaplama maliyetlerini azaltırken yüksek doğruluğu korumaktır.

Genellikle süreç, öğrencinin öğretmenin çıktılarına (örneğin, sınıf olasılıklarına) dayanarak eğitilmesini içerir, sadece orijinal etiketler değil. Bu, öğrencinin genelleme yeteneğini artırır ve öğretmenin davranışını taklit etmesine yardımcı olur.

Uygulama örneği: büyük bir yapay sinir ağı büyük bir veri kümesi üzerinde eğitilir ve ardından bilgileri küçük bir modele distille edilir, bu model sınırlı kaynaklara sahip mobil cihazlarda kullanılabilir.