Proč se v GPT používá dekodér místo enkodéru?

GPT používá architekturu založenou na dekodéru transformátorů, nikoli na enkodéru, protože jeho úkolem je generovat sekvenci textu token po tokenu, na základě předchozího kontextu.

Hlavní důvody:

• Autoregresivní generování: Dekodér předpovídá další token pomocí již vygenerovaných tokenů, což je ideální pro úkoly generování textu.
• Maskování pozornosti: V dekodéru se používá maskování, aby model nemohl 'nahlížet' do budoucích tokenů, čímž se zajišťuje správné pořadí generování.
• Jednoduchost a efektivita: Použití pouze dekodéru zjednodušuje architekturu a snižuje výpočetní náklady ve srovnání s modely typu encoder-decoder.

Na rozdíl od enkodéru, který je vhodnější pro porozumění a kódování vstupních dat (například v úlohách klasifikace nebo překladu), se GPT zaměřuje na generování sekvencí, což činí dekodér optimální volbou.