Cos'è la distillazione?
sobes.tech AI
Risposta dell'AI
La distillazione della conoscenza (knowledge distillation) è un metodo nell'apprendimento automatico in cui le conoscenze di un modello grande e complesso (insegnante) vengono trasferite a un modello più compatto e veloce (studente). L'obiettivo è mantenere un'alta precisione riducendo le dimensioni e i costi computazionali del modello.
Il processo generalmente prevede l'addestramento dello studente sulle uscite dell'insegnante (ad esempio, sulle probabilità di classe), e non solo sulle etichette originali. Questo aiuta lo studente a generalizzare meglio e ad avvicinarsi al comportamento dell'insegnante.
Esempio di applicazione: una grande rete neurale viene addestrata su un grande insieme di dati, e poi le sue conoscenze vengono distillate in un modello piccolo, utilizzabile su dispositivi mobili con risorse limitate.