Kontext uzunluğu nədir və niyə onu genişləndirmək çətindir?

Mətn kontekstinin uzunluğu (kontekst uzunluğu) — bu, böyük dil modeli (LLM) tərəfindən eyni zamanda nəzərə alınabiləcək maksimum token sayı (sözlər və ya söz parçaları).

Kontekst uzunluğunun məhdudiyyəti transformatorların memarlığı ilə əlaqədardır, burada diqqət mexanizminin hesablaması girişin uzunluğu ilə kvadrat şəkildə artır. Bu, aşağıdakı nəticələrə gətirib çıxarır:

• Kontekst uzunluğunun artırılması ilə yaddaş və vaxt xərclərinin çoxalması.
• Avadanlıq resursları üzərində məhdudiyyətlər.

Kontekst uzunluğunu artırmaq çətindir, çünki:

• Bu, çox daha çox hesablama resursu tələb edir.
• Modelin memarlığını dəyişdirmək və ya xüsusi texnikalardan istifadə etmək lazımdır (məsələn, kontekstin sıxılması, sürüşən pəncərə, rekurrent mexanizmlər).

Beləliklə, kontekst uzunluğu, daha çox məlumatı nəzərə alma qabiliyyəti ilə performans məhdudiyyətləri arasında kompromisdir.