Čo je sparse attention?

Sparse attention — je technika v oblasti neurónových sietí, najmä u transformerov, ktorá umožňuje znížiť výpočtovú zložitosť mechanizmu pozornosti. Pri klasickej self-attention každý prvok sekvencie interaguje s každým iným, čo má kvadratickú zložitosť vzhľadom na dĺžku sekvencie.

Sparse attention obmedzuje počet týchto interakcií, umožňujúc brať do úvahy len určité pozície (napríklad najbližších susedov alebo pozície podľa určitého vzoru). To znižuje výpočtové náklady a pamäť, pričom zachováva efektívnosť modelu.

Príklad: v modeli Longformer sa používa lokálna pozornosť, kde každý token vidí len pevné okno susedných tokenov, nie celú sekvenciu.