Co je to délka kontextu a proč je těžké ji rozšířit?

Délka kontextu (délka kontextu) je maximální počet tokenů (slov nebo částí slov), které může velký jazykový model (LLM) současně zohlednit při generování nebo analýze textu.

Omezení délky kontextu souvisí s architekturou transformerů, kde výpočetní složitost pozornosti roste kvadraticky s délkou vstupu. To vede k:

• Vysokým nákladům na paměť a čas při zvyšování délky kontextu.
• Omezením hardwarových zdrojů.

Prodloužení délky kontextu je obtížné, protože:

• Vyžaduje mnohem více výpočetních zdrojů.
• Je nutné změnit architekturu modelu nebo použít speciální techniky (například kompresi kontextu, posuvné okno, rekurentní mechanismy).

Proto je délka kontextu kompromisem mezi možností zohlednit více informací a omezeními výkonu.