Czym jest długość kontekstu i dlaczego jest trudna do rozszerzenia?

Długość kontekstu (długość kontekstu) to maksymalna liczba tokenów (słów lub części słów), które model dużego języka (LLM) może jednocześnie uwzględniać podczas generowania tekstu lub analizy.

Ograniczenie długości kontekstu jest związane z architekturą transformatorów, gdzie złożoność obliczeniowa uwagi rośnie kwadratowo wraz z długością wejścia. To prowadzi do:

• Wysokich kosztów pamięci i czasu przy zwiększaniu długości kontekstu.
• Ograniczeń zasobów sprzętowych.

Rozszerzenie długości kontekstu jest trudne, ponieważ:

• Wymaga znacznie więcej zasobów obliczeniowych.
• Konieczne jest zmienianie architektury modelu lub używanie specjalnych technik (np. kompresja kontekstu, okno przesuwne, mechanizmy rekurencyjne).

W związku z tym, długość kontekstu to kompromis między możliwością uwzględniania większej ilości informacji a ograniczeniami wydajności.