Zašto se u GPT koristi dekoder umesto enkodera?

GPT koristi arhitekturu zasnovanu na dekoderu transformatora, a ne na enkoderu, jer je njegov zadatak da generiše sekvencu teksta token po token, zasnovanu na prethodnom kontekstu.

Glavni razlozi:

• Autoregresivna generacija: Dekoder predviđa sledeći token koristeći već generisane tokene, što je idealno za zadatke generisanja teksta.
• Maskiranje pažnje: U dekoderu se primenjuje maskiranje kako model ne bi mogao 'da gleda' u buduće tokene, obezbeđujući ispravan redosled generisanja.
• Jednostavnost i efikasnost: Korišćenje samo dekodera pojednostavljuje arhitekturu i smanjuje računarske troškove u poređenju sa modelima sa enkoder-dekoder.

Za razliku od enkodera, koji je bolji za razumevanje i kodiranje ulaznih podataka (na primer, u zadacima klasifikacije ili prevođenja), GPT je fokusiran na generisanje sekvenci, što čini dekoder optimalnim izborom.