Wat is in-context leren en waarom werkt het?

In-context leren is het vermogen van grote taalmodellen (LLM) om te leren van voorbeelden die in de vraag zelf worden gepresenteerd, zonder dat de gewichten van het model verder worden bijgewerkt. Met andere woorden, het model ontvangt meerdere voorbeelden van de taak direct in de tekst van de vraag en genereert op basis daarvan een antwoord voor een nieuwe situatie.

Waarom werkt dit:

• Het model is getraind op een enorme hoeveelheid teksten en voorbeelden, waardoor het patronen en relaties tussen invoergegevens en antwoorden kan herkennen.
• Door voorbeelden in de context te geven, "begrijpt" het model welke taak opgelost moet worden en past het zijn gedrag dienovereenkomstig aan.
• Dit lijkt op conditioneel programmeren: het model gebruikt de context als instructie.

Voorbeeld: als in de vraag meerdere paren "vraag — antwoord" worden gegeven, zal het model de reeks voortzetten en op een nieuwe vraag in dezelfde stijl antwoorden.

Op deze manier maakt in-context leren het mogelijk om de kracht van LLM te benutten zonder extra training, door simpelweg de invoergegevens te wijzigen.