Ի՞նչ են ժամանակակից decoder-only LLM-ների (LLaMA, Mistral, Qwen) ճարտարապետական միտումները։

Ամենաժամանակ decoder-only մեծ լեզվական մոդելները (LLMs), ինչպիսիք են LLaMA, Mistral, Qwen, հետևում են մի քանի ճարտարապետական միտումներին:

• Համարների աճը պահպանելով արդյունավետությունը: մոդելները մեծանում են չափերով, բայց օպտիմալացվում են ավելի արդյունավետ ուսուցման և արտածման համար:

• Աշխատունակության արդյունավետ մեխանիզմների օգտագործում: ներդնում են ինքնագնահատման օպտիմալացումներ՝ հաշվարկային բարդությունը նվազեցնելու համար:

• Մոդուլային և խառը ճարտարապետություններ: երբեմն համատեղում են տարբեր շերտերի տեսակներ կամ օգտագործում հատուկ բլոկներ՝ կատարողականությունը բարելավելու համար:

• Կենտրոնացում ավելի քիչ տվյալներով ուսուցման և ավելի լավ ընդհանուրացման վրա: բարելավված նախապատրաստման մեթոդների և կանոնավորեցման միջոցով:

• Հատուկ առաջադրանքների և հարթակների համար օպտիմալացում: մոդելները հարմարեցվում են իրական կիրառությունների պահանջներին և հասանելի ռեսուրսներին:

Այս միտումները նպատակաուղղված են տեքստի գեներացման որակն բարելավելու, ուսուցման ծախսերը նվազեցնելու և ընդլայնելիությունը բարձրացնելու։