Wat toont de aandachtvector in transformers?

De aandachtvector in transformers laat zien hoe sterk het model "aandacht besteedt" aan elk woord (of token) in de invoerreeks bij het verwerken van een specifiek uitvoertoken. Simpel gezegd, het zijn gewichten die de belangrijkheid van elk invoerelement voor de huidige stap bepalen.

Bijvoorbeeld, bij het vertalen van een zin in een transformer, wordt voor elk woord in de output een aandachtvector berekend die aangeeft welke woorden in de invoerzin het meest relevant zijn voor het genereren van dat woord. Dit stelt het model in staat om rekening te houden met de context en afhankelijkheden tussen woorden, zelfs als ze ver uit elkaar liggen.

De aandachtvector is een verzameling getallen (gewichten), meestal genormaliseerd met softmax, waarbij grotere waarden een grotere relevantie van de overeenkomstige invoertoken aangeven voor de huidige stap.

Voorbeeld: als het model het woord "bank" vertaalt in de context van "river bank", kan de aandachtvector de woorden "river" en "bank" in de invoer benadrukken om de betekenis correct te begrijpen.