Wat is sliding window attention?

Sliding window attention is een techniek in transformers die het aandachtgebied (attention) beperkt tot een vast venster rond elk token, in plaats van alle tokens in de sequentie te overwegen. Dit maakt het mogelijk om de computationele complexiteit aanzienlijk te verlagen van kwadratisch naar lineair in de lengte van de sequentie.

Het idee is dat elk element alleen aandacht besteedt aan de nabije elementen binnen een vast venster, bijvoorbeeld 5-10 tokens links en rechts. Deze aanpak is vooral nuttig voor zeer lange sequenties, waar klassieke volledige self-attention te duur wordt.

Voorbeeld: als we een sequentie van 1000 tokens hebben en een venster van 10, wordt de aandacht voor elk token alleen berekend over de 10 nabije tokens, in plaats van over alle 999 andere.

Dit helpt modellen om lange teksten efficiënt te verwerken, terwijl ze tegelijkertijd lokale contextuele informatie behouden.