Wat is aandacht?

Aandacht — is een mechanisme in neurale netwerken waarmee het model zich kan richten op de belangrijkste delen van de invoergegevens tijdens verwerking. In tegenstelling tot traditionele modellen, die alle informatie gelijk behandelen, weegt aandacht dynamisch de bijdrage van verschillende elementen, wat de kwaliteit van begrip en gegevensgeneratie verbetert.

Bijvoorbeeld, bij taken voor natuurlijke taalverwerking helpt aandacht het model rekening te houden met de context van woorden, door relevante woorden te benadrukken bij vertaling of het beantwoorden van vragen.

Voorbeeld van eenvoudige aandacht (geschaalde dot-product aandacht) in pseudocode:

# Q, K, V — matrices van verzoeken, sleutels en waarden
scores = Q @ K.T / sqrt(d_k)  # gelijkenisberekening
weights = softmax(scores)    # normalisatie van gewichten
output = weights @ V          # gewogen som van waarden

Het aandachtmechanisme ligt ten grondslag aan transformer-architecturen, die veel worden gebruikt in moderne AI-frameworks.