Wat is prompt tuning en waar wordt het toegepast?

Prompt tuning is een methode om grote taalmodellen (LLM) aan te passen zonder het model volledig opnieuw te trainen. In plaats van alle gewichten van het model te wijzigen, traint prompt tuning een kleine hoeveelheid extra parameters die fungeren als 'suggesties' (prompt), die het gedrag van het model beïnvloeden.

Het wordt toegepast wanneer het nodig is om een LLM snel en efficiënt aan te passen aan een specifieke taak, zoals tekstanalyse, antwoordgeneratie of vertaling, met beperkte middelen. Dit is vooral handig wanneer het niet mogelijk of wenselijk is om het hele model opnieuw te trainen vanwege de grootte of kosten.

Voorbeeld: in plaats van volledige fine-tuning van het GPT-model, kunnen speciale vectorrepresentaties (soft prompts) worden getraind, die aan de ingang van het model worden gegeven en de generatie in de gewenste richting sturen.