Контексттин узундугу эмне жана аны кеңейтүү эмне үчүн кыйын?

Контексттин узундугу (контексттин узундугу) — бул чоң тил моделинин (LLM) текстти түзүү же талдоо учурунда бир убакта эске алса боло турган токендердин (сөздөр же сөз бөлүктөрү) максималдуу саны.

Контексттин узундугун чектөө трансформаторлордун архитектурасына байланыштуу, анда көңүл буруу эсептөө татаалдыгы кириш узундугу менен квадратик өсөт. Бул төмөнкүлөргө алып келет:

• Контексттин узундугун көбөйтүү менен жогорку эс тутум жана убакыт чыгымдары.
• Аппараттык ресурстарга чектөөлөр.

Контексттин узундугун кеңейтүү кыйын, анткени:

• Бул көп эсептөө ресурстарын талап кылат.
• Моделдин архитектурасын өзгөртүү же атайын техникаларды колдонуу керек (мисалы, контекстти кысуу, жылжып турган терезе, рекурренттик механизмдер).

Ошондуктан, контексттин узундугу — бул көбүрөөк маалыматты эске алуу мүмкүнчүлүгү менен иштөө чектөөлөрүнүн ортосундагы компромисс.