Wat is de contextlengte en waarom is het moeilijk uit te breiden?

Contextlengte (lengte van de context) is de maximale hoeveelheid tokens (woorden of delen van woorden) die een groot taalmodel (LLM) gelijktijdig kan overwegen bij het genereren of analyseren van tekst.

De beperking van de contextlengte is gerelateerd aan de architectuur van transformers, waarbij de rekencomplexiteit van de aandacht kwadratisch toeneemt met de lengte van de invoer. Dit leidt tot:

• Hoge geheugen- en tijdskosten bij het vergroten van de contextlengte.
• Beperkingen op hardwarebronnen.

Het uitbreiden van de contextlengte is moeilijk omdat:

• Het veel meer rekenbronnen vereist.
• Het nodig is om de modelarchitectuur te wijzigen of speciale technieken te gebruiken (bijvoorbeeld compressie van de context, schuivend venster, recursieve mechanismen).

Dus, de contextlengte is een compromis tussen de mogelijkheid om meer informatie te overwegen en prestatielimieten.