O que mostra o vetor de atenção nos transformadores?

O vetor de atenção nos transformadores mostra o quão fortemente o modelo "presta atenção" a cada palavra (ou token) da sequência de entrada ao processar um token específico na saída. Em outras palavras, são pesos que determinam a importância de cada elemento de entrada para o passo atual.

Por exemplo, ao traduzir uma frase em um transformador, para cada palavra na saída, é calculado um vetor de atenção que indica quais palavras na frase de entrada são mais relevantes para gerar essa palavra. Isso permite que o modelo leve em conta o contexto e as dependências entre as palavras, mesmo que estejam distantes umas das outras.

O vetor de atenção é um conjunto de números (pesos), normalizados geralmente com softmax, onde valores maiores indicam maior relevância do token de entrada correspondente para o passo atual.

Exemplo: se o modelo estiver traduzindo a palavra "bank" no contexto de "river bank", o vetor de atenção pode destacar as palavras "river" e "bank" na entrada para entender corretamente o significado.