GPT'de neden bir kodlayıcı yerine bir çözücü kullanılır?

GPT, dönüştürücü tabanlı bir mimariye sahip olan bir kodlayıcı yerine, her seferinde bir token olmak üzere metin dizisi üretmek için tasarlandığı için, önceden bağlama dayalı olarak çalışır.

Ana nedenler:

• Otokregresif üretim: Kod çözücü, zaten üretilmiş tokenleri kullanarak bir sonraki tokeni tahmin eder, bu da metin üretimi görevleri için idealdir.
• Dikkat maskesi: Kod çözücüde, modelin gelecekteki tokenlere 'bakmaması' için maskeleme uygulanır, böylece doğru üretim sırası sağlanır.
• Basitlik ve verimlilik: Sadece kod çözücü kullanmak, mimariyi basitleştirir ve kod çözücü- kod çözücü olmayan modellere kıyasla hesaplama maliyetlerini azaltır.