Por que o GPT usa um decodificador e não um codificador?

O GPT utiliza uma arquitetura baseada num decodificador de transformadores, em vez de um codificador, porque a sua tarefa é gerar uma sequência de texto um token de cada vez, com base no contexto anterior.

Razões principais:

• Geração autorregressiva: O decodificador prevê o próximo token usando os tokens já gerados, o que é ideal para tarefas de geração de texto.
• Enmascaramento de atenção: No decodificador, é aplicado um enmascaramento para que o modelo não possa 'olhar para frente' nos tokens futuros, garantindo uma ordem correta na geração.
• Simplicidade e eficiência: Usar apenas o decodificador simplifica a arquitetura e reduz os custos computacionais em comparação com os modelos de codificador-decodificador.

Ao contrário do codificador, que é melhor para entender e codificar dados de entrada (por exemplo, em tarefas de classificação ou tradução), o GPT foca na geração de sequências, tornando o decodificador a escolha mais adequada.