Šta je dužina konteksta i zašto je teško proširiti?

Дужина контекста (дужина контекста) је максималан број токена (речи или делови речи) које модел великог језика (LLM) може истовремено узети у обзир приликом генерисања текста или анализе.

Ограничење дужине контекста повезано је са архитектуром трансформатора, где се рачунарска сложеност пажње повећава квадратно са дужином улаза. Ово доводи до:

• Високих трошкова меморије и времена при повећању дужине контекста.
• Ограничења на хардверске ресурсе.

Проширење дужине контекста је тешко јер:

• Захтева много више рачунарских ресурса.
• Потребно је мењати архитектуру модела или користити посебне технике (нпр. компресија контекста, клизно окно, рекурентни механизми).

Стога, дужина контекста представља компромис између могућности узимања у обзир више информација и ограничења у перформансама.