რა არის კონტექსტის სიგრძე და რატომ არის მისი გაფართოება რთული?

კონტექსტის სიგრძე (კონტექსტის სიგრძე) არის მაქსიმალური რაოდენობა ტოკენების (სიტყვები ან სიტყვების ნაწილები), რომელსაც დიდი ენის მოდელი (LLM) ერთდროულად შეუძლია გაითვალისწინოს ტექსტის გენერირების ან ანალიზის დროს.

კონტექსტის სიგრძის შეზღუდვა დაკავშირებულია ტრანსფორმატორების არქიტექტურასთან, სადაც ყურადღების გამახვილების გამოთვლითი სირთულე კვადრატულად იზრდება შესვლის სიგრძესთან. ეს იწვევს:

• მაღალი მეხსიერებისა და დროის ხარჯებს კონტექსტის სიგრძის გაზრდისას.
• ჰარდვერის რესურსების შეზღუდვებს.

კონტექსტის სიგრძის გაფართოება რთულია, რადგან:

• ეს მოითხოვს ბევრად მეტ გამოთვლით რესურსს.
• საჭიროა მოდელის არქიტექტურის შეცვლა ან სპეციალური ტექნიკების გამოყენება (მაგალითად, კონტექსტის შეკუმშვა, სლაიდერი ფანჯარა, რეკურენტული მექანიზმები).

ამიტომ, კონტექსტის სიგრძე არის კომპრომისი უფრო მეტი ინფორმაციის გათვალისწინებასა და შესრულების შეზღუდვებს შორის.