Ինչու GPT-ում օգտագործվում է դեկոդեր, ոչ թե էնկոդեր?

GPT օգտագործում է տրանսֆորմատորի դեկոդերի վրա հիմնված ճարտարապետություն, ոչ թե էնկոդերի, քանի որ նրա գործառույթը՝ տեքստի հաջորդականությունը մեկ տոքենի համար ստեղծելն է, նախորդ կոնտեքստի վրա հիմնվելով:

Հիմնական պատճառները՝

• Ավտոգրեսիվ ստեղծում: Դեկոդերը կանխատեսում է հաջորդ տոքենը, օգտագործելով արդեն ստեղծված տոքենները, ինչը իդեալական է տեքստի ստեղծման խնդիրների համար:
• Ուշադրության մասկավորում: Դեկոդերում կիրառվում է մասկավորում, որպեսզի մոդելը չկարողանա 'դիտել' ապագա տոքենները, ապահովելով ճիշտ հերթականությունը:
• Պարզություն և արդյունավետություն: Միայն դեկոդերի օգտագործումը պարզեցնում է ճարտարապետությունը և նվազեցնում հաշվարկային ծախսերը՝ համեմատած էնկոդեր-դեկոդեր մոդելների հետ:

Ի տարբերություն էնկոդերի, որոնք ավելի լավ են հասկանալու և կոդավորելու մուտքային տվյալները (օրինակ՝ դասակարգման կամ թարգմանության խնդիրներում), GPT կենտրոնացած է հաջորդականությունների ստեղծման վրա, ինչը դեկոդերին դարձնում է օպտիմալ ընտրություն։