Dlaczego w GPT używany jest dekoder, a nie enkoder?

GPT używa architektury opartej na dekoderze transformera, a nie na encoderze, ponieważ jego zadaniem jest generowanie sekwencji tekstu token po tokenie, na podstawie wcześniejszego kontekstu.

Główne powody:

• Autoregresywne generowanie: Dekoder przewiduje następny token, korzystając z już wygenerowanych tokenów, co jest idealne dla zadań generowania tekstu.
• Maskowanie uwagi: W dekoderze stosuje się maskowanie, aby model nie mógł 'zaglądać' w przyszłe tokeny, zapewniając poprawny porządek generacji.
• Prostota i wydajność: Użycie tylko dekodera upraszcza architekturę i zmniejsza koszty obliczeniowe w porównaniu do modeli typu encoder-decoder.

W przeciwieństwie do encoder'a, który lepiej nadaje się do rozumienia i kodowania danych wejściowych (np. w zadaniach klasyfikacji lub tłumaczenia), GPT skupia się na generowaniu sekwencji, co czyni dekoder optymalnym wyborem.