GPT-də niyə kodlayıcı yerinə dekoder istifadə olunur?

GPT, dönüştürücü tabanlı bir dekoder mimarisine dayanır, çünkü görevi, önceki bağlama dayanarak, her seferinde bir token olmak üzere metin dizisi üretmektir.

Ana nedenler:

• Otokregresif üretim: Dekoder, zaten üretilmiş tokenleri kullanarak bir sonraki tokeni tahmin eder, bu da metin üretimi görevleri için idealdir.
• Dikkat maskesi: Dekoderde, modelin gelecekteki tokenlere 'bakmaması' için maskeleme uygulanır, böylece doğru üretim sırası sağlanır.
• Basitlik ve verimlilik: Sadece dekoder kullanmak, mimariyi basitleştirir ve kod çözücü- kod çözücü olmayan modellere kıyasla hesaplama maliyetlerini azaltır.