¿Qué muestra el vector de atención en los transformadores?

El vector de atención en los transformadores muestra qué tan fuertemente el modelo "presta atención" a cada palabra (o token) de la secuencia de entrada al procesar un token específico en la salida. En otras palabras, son pesos que determinan la importancia de cada elemento de entrada para el paso actual.

Por ejemplo, al traducir una oración en un transformador, para cada palabra en la salida se calcula un vector de atención que indica qué palabras en la oración de entrada son más relevantes para generar esa palabra. Esto permite que el modelo tenga en cuenta el contexto y las dependencias entre palabras, incluso si están lejos unas de otras.

El vector de atención es un conjunto de números (pesos), normalizados generalmente con softmax, donde valores grandes indican una mayor relevancia del token de entrada correspondiente para el paso actual.

Ejemplo: si el modelo está traduciendo la palabra "bank" en el contexto de "river bank", el vector de atención puede destacar las palabras "river" y "bank" en la entrada para entender correctamente el significado.