Ի՞նչ է կոնտեքստի երկարությունը և ինչու է այն դժվար ընդլայնել։

Կոնտեքստի երկարությունը (կոնտեքստի երկարությունը) առավելագույն թվաքանակն է տոքենների (գրքեր կամ բառերի մասեր), որոնք մեծ լեզվական մոդելը (LLM) կարող է միաժամանակ հաշվի առնել տեքստի գեներացման կամ վերլուծության ժամանակ:

Կոնտեքստի երկարության սահմանափակումը կապված է փոխակերպիչների (տրանսֆորմատորների) ճարտարապետության հետ, որտեղ ուշադրության հաշվարկային բարդությունը քառակուսային կերպով աճում է մուտքի երկարության հետ: Սա հանգեցնում է.

• Հիշողության և ժամանակի բարձր ծախսերի, երբ երկարությունը մեծանում է:
• Հասարակական ռեսուրսների սահմանափակումների:

Կոնտեքստի երկարությունը ընդլայնելը դժվար է, քանի որ:

• Դա պահանջում է շատ ավելի շատ հաշվարկային ռեսուրսներ:
• Պետք է փոխել մոդելի ճարտարապետությունը կամ օգտագործել հատուկ տեխնիկաներ (օրինակ, կոնտեքստի սեղմում, սահող պատուհան, ռեկուրսիվ մեխանիզմներ):

Այսպիսով, կոնտեքստի երկարությունը — դա բալանս է ավելի շատ տեղեկատվություն հաշվի առնելու և կատարողականի սահմանափակումների միջև։