Prečo v GPT sa používa dekodér namiesto enkodéra?

GPT používa architektúru založenú na dekodéri transformátorov, nie na enkodéri, pretože jeho úlohou je generovať sekvenciu textu token po token, na základe predchádzajúceho kontextu.

Hlavné dôvody:

• Autoregresívne generovanie: Dekodér predpovedá ďalší token pomocou už vygenerovaných tokenov, čo je ideálne pre úlohy generovania textu.
• Maskovanie pozornosti: V dekodéri sa používa maskovanie, aby model nemohol 'pozerat' dopredu do budúcich tokenov, čím sa zabezpečí správny poriadok generovania.
• Jednoduchosť a efektívnosť: Použitie iba dekodéra zjednodušuje architektúru a znižuje výpočtové náklady v porovnaní s modelmi typu encoder-decoder.

Na rozdiel od enkodéra, ktorý je vhodnejší na pochopenie a kódovanie vstupných dát (napríklad v úlohách klasifikácie alebo prekladu), sa GPT zameriava na generovanie sekvencií, čo robí dekodér optimálnou voľbou.