Čo je dĺžka kontextu a prečo je ťažké ju rozšíriť?

Dĺžka kontextu (dĺžka kontextu) je maximálny počet tokenov (slov alebo častí slov), ktoré môže veľký jazykový model (LLM) súčasne zohľadniť pri generovaní alebo analýze textu.

Obmedzenie dĺžky kontextu súvisí s architektúrou transformerov, kde výpočtová zložitosť pozornosti rastie kvadraticky s dĺžkou vstupu. To vedie k:

• Vysokým nákladom na pamäť a čas pri zvyšovaní dĺžky kontextu.
• Obmedzeniam na hardvérové zdroje.

Rozšírenie dĺžky kontextu je ťažké, pretože:

• Vyžaduje oveľa viac výpočtových zdrojov.
• Je potrebné zmeniť architektúru modelu alebo použiť špeciálne techniky (napríklad kompresiu kontextu, posuvné okno, rekurentné mechanizmy).

Preto je dĺžka kontextu kompromis medzi možnosťou zohľadniť viac informácií a obmedzeniami výkonu.