Cos'è l'apprendimento in-context e perché funziona?

L'apprendimento contestuale è la capacità di grandi modelli linguistici (LLM) di apprendere da esempi presentati nella stessa richiesta, senza aggiornare ulteriormente i pesi del modello. In altre parole, il modello riceve diversi esempi del compito direttamente nel testo della richiesta e, sulla base di essi, genera una risposta per un nuovo caso.

Perché funziona:

• Il modello è stato addestrato su un'enorme quantità di testi ed esempi, il che gli permette di riconoscere schemi e relazioni tra i dati di input e le risposte.
• Fornendo esempi nel contesto, il modello "capisce" quale compito deve risolvere e adatta il suo comportamento di conseguenza.
• Questo è simile alla programmazione condizionale: il modello utilizza il contesto come istruzione.

Esempio: se nella richiesta vengono date diverse coppie "domanda — risposta", il modello continuerà la sequenza, rispondendo a una nuova domanda nello stesso stile.

In questo modo, l'apprendimento contestuale permette di sfruttare la potenza degli LLM senza ulteriori addestramenti, semplicemente modificando i dati di input.