Por que os transformadores obtiveram vantagem?

Os transformadores obtiveram uma vantagem graças a uma arquitetura baseada no mecanismo de atenção, que permite processar sequências de dados de forma eficiente sem recorrer à recursão ou convoluções.

Razões principais para o sucesso:

• Auto-Atenção: permite ao modelo considerar o contexto de toda a entrada simultaneamente, em vez de apenas as vizinhanças locais, como em RNN ou CNN.
• Paralelização: a ausência de ligações recorrentes possibilita treinar modelos de forma eficiente em grandes conjuntos de dados usando GPU.
• Flexibilidade: os transformadores são facilmente escaláveis e adaptáveis a diferentes tarefas — desde processamento de texto até imagens.
• Qualidade aprimorada: eles capturam melhor as dependências de longo prazo e o contexto, o que é especialmente importante para o processamento de linguagem natural.

Exemplo: o modelo BERT usa transformador para compreensão contextual bidirecional do texto, o que aumentou significativamente a qualidade de muitas tarefas de PLN.