Ինֆերենցիայում prefiks-ների կեշավորումը ի՞նչ է։

Մեծ լեզվական մոդելների (LLM) inference-ում prefix caching-ը տեխնիկա է, որը ժամանակավոր հաշվարկները պահպանում է արդեն մշակված տոքենների համար և կրկնակի օգտագործում է դրանք հաջորդ տոքենի ստեղծման ժամանակ:

Տեքստի ստեղծման ժամանակ մոդելը հերթականորեն մշակում է յուրաքանչյուր տոքեն և հաշվարկում է թաքնված վիճակները: Փոխարենը, որ նոր տոքենի ավելացման ժամանակ ամբողջ հաջորդականության համար բոլոր վիճակները նորից հաշվարկել, prefix caching-ը թույլ է տալիս պահել արդյունքները նախածանցի համար (առկա հատվածը) և անմիջապես օգտագործել դրանք:

Այսպիսով, դա զգալիորեն արագացնում է inference-ը, նվազեցնում հաշվարկային բեռը և լատենցիան, հատկապես երկար հաջորդականությունների ստեղծման ժամանակ:

Մոտավորապես այսպես է wygląda:

• t քայլում հաշվարկվում են վիճակները 1..t տոքենների համար:
• t+1 քայլում, 1..t տոքենների վիճակները վերցվում են cache-ից, և միայն հաշվարկվում է t+1 տոքենի վիճակը:

Այսպիսով, prefix caching-ը կարևոր տեխնիկա է արդյունավետ և արագ ելքի համար LLM-երում։