Kas ir konteksta garums un kāpēc to ir grūti paplašināt?

Konteksta garums (konteksta garums) ir ir maksimālais tokenu skaits (vārdu vai vārdu daļu), kuras liels valodas modelis (LLM) var vienlaikus ņemt vērā teksta ģenerēšanas vai analīzes laikā.

Konteksta garuma ierobežojums ir saistīts ar transformatoru arhitektūru, kur uzmanības aprēķinu sarežģītība pieaug kvadrātiski ar ievades garumu. Tas noved pie:

• Augstām atmiņas un laika izmaksām, palielinot konteksta garumu.
• Ierobežojumiem uz aparatūras resursiem.

Konteksta garuma paplašināšana ir grūta, jo:

• Tā prasa daudz vairāk skaitļošanas resursu.
• Ir nepieciešams mainīt modeļa arhitektūru vai izmantot īpašas tehnikas (piemēram, konteksta saspiešanu, slīdējošu logu, rekursīvus mehānismus).

Tādējādi, konteksta garums ir kompromiss starp iespēju ņemt vērā vairāk informācijas un veiktspējas ierobežojumiem.