Τι είναι η απόσταξη;

Η απόσταξη γνώσης (knowledge distillation) είναι μια μέθοδος στη μηχανική μάθηση όπου οι γνώσεις από ένα μεγάλο, πολύπλοκο μοντέλο (διδάσκαλος) μεταφέρονται σε ένα πιο συμπαγές και γρήγορο μοντέλο (μαθητής). Ο στόχος είναι να διατηρηθεί υψηλή ακρίβεια μειώνοντας το μέγεθος και το υπολογιστικό κόστος του μοντέλου.

Η διαδικασία συνήθως περιλαμβάνει την εκπαίδευση του μαθητή στις εξόδους του διδασκάλου (π.χ., στις πιθανότητες των τάξεων), και όχι μόνο στις αρχικές ετικέτες. Αυτό βοηθά τον μαθητή να γενικεύει καλύτερα και να προσεγγίζει τη συμπεριφορά του διδασκάλου.

Παράδειγμα εφαρμογής: ένα μεγάλο νευρωνικό δίκτυο εκπαιδεύεται σε ένα μεγάλο σύνολο δεδομένων, και στη συνέχεια οι γνώσεις του αποσταγγίζουν σε ένα μικρό μοντέλο, το οποίο μπορεί να χρησιμοποιηθεί σε κινητές συσκευές με περιορισμένους πόρους.