Kas yra konteksto ilgis ir kodėl sunku jį išplėsti?

Konteksto ilgis (konteksto ilgis) yra maksimali tokenų (žodžių arba žodžių dalių) skaičius, kurį didelis kalbos modelis (LLM) gali vienu metu apsvarstyti teksto generavimo ar analizės metu.

Konteksto ilgio apribojimas yra susijęs su transformatorių architektūra, kur dėmesio skaičiavimo sudėtingumas auga kvadratiškai su įvesties ilgiu. Tai sukelia:

• Didelius atminties ir laiko kaštus didinant konteksto ilgį.
• Aparatinės įrangos išteklių apribojimus.

Konteksto ilgio plėtra yra sudėtinga, nes:

• Reikalauja daug daugiau skaičiavimo išteklių.
• Reikia keisti modelio architektūrą arba naudoti specialias technikas (pvz., konteksto suspaudimą, slankiojančius langus, rekursinius mechanizmus).

Todėl konteksto ilgis yra kompromisas tarp galimybės apsvarstyti daugiau informacijos ir našumo apribojimų.