Узунии контекст чист ва чаро душвор аст васеъ кардан?

Дарозии контекст (дарозии контекст) — ин шумораи максималии токенҳо (сўзҳо ё қисмҳои сўзҳо) аст, ки модели забони калон (LLM) метавонад ҳамзамон дар ҳоле ки матнро тавлид мекунад ё таҳлил мекунад, ба назар гирад.

Маҳдудияти дарозии контекст бо архитектураи трансформаторҳо алоқаманд аст, ки дар он мушкилоти ҳисоббарорӣ дар диққат квадратики меафзояд бо дарозии воридот. Ин ба:

• Хароҷоти баланд дар хотира ва вақт ҳангоми зиёд кардани дарозии контекст оварда мерасонад.
• Маҳдудиятҳо дар захираҳои сахтафзор.

Тамдиди дарозии контекст душвор аст, зеро:

• Он талаб мекунад, ки захираҳои бештар барои ҳисоббарорӣ истифода шавад.
• Барои тағир додани архитектураи модел ё истифодаи техникаҳои махсус (масалан, фишурдани контекст, тирезаҳои ҳаракаткунанда, механизмҳои такрорӣ) зарур аст.

Аз ин рӯ, дарозии контекст як компромис байни имконияти ба назар гирифтани маълумоти бештар ва маҳдудиятҳои иҷроиш мебошад.