Qu'est-ce que l'apprentissage en contexte et pourquoi ça fonctionne?

L’apprentissage en contexte est la capacité des grands modèles de langage (LLM) à apprendre à partir d’exemples présentés dans la requête elle-même, sans mise à jour supplémentaire des poids du modèle. Autrement dit, le modèle reçoit plusieurs exemples de la tâche directement dans le texte de la requête et, sur leur base, génère une réponse pour un nouveau cas.

Pourquoi cela fonctionne-t-il :

• Le modèle a été entraîné sur une énorme quantité de textes et d’exemples, ce qui lui permet de reconnaître des motifs et des relations entre les données d’entrée et les réponses.
• En fournissant des exemples dans le contexte, le modèle « comprend » quelle tâche doit être résolue et adapte son comportement en conséquence.
• Cela ressemble à de la programmation conditionnelle : le modèle utilise le contexte comme une instruction.

Exemple : si dans la requête, plusieurs paires « question — réponse » sont données, le modèle poursuivra la séquence, répondant à une nouvelle question dans le même style.

Ainsi, l’apprentissage en contexte permet d’utiliser la puissance des LLM sans entraînement supplémentaire, simplement en changeant les données d’entrée.