Wat is de Linformer en waarom lukt het hem om een lineaire complexiteit te hebben?

Linformer is een transformer-architectuur die de rekenkundige complexiteit van de aandacht van kwadratisch (O(n²)) naar lineair (O(n)) in de sequentielengte vermindert.

Het kernidee van Linformer is om de aandachtmatrix te benaderen met behulp van een laag-rang representatie. In plaats van de volledige aandacht tussen alle tokenparingen te berekenen, projecteert Linformer de sleutels en waarden in een ruimte met lagere dimensie via trainbare lineaire projecties.

Dit maakt het mogelijk:

• De dimensie van sleutels en waarden te verminderen,
• Het aantal berekeningen bij matrixvermenigvuldiging te verminderen,
• Het geheugenverbruik te verlagen.

Op deze manier wordt lineaire complexiteit bereikt door gebruik te maken van een vaste projectiedimensie, die niet afhankelijk is van de lengte van de invoersequentie, waardoor Linformer efficiënt is voor lange teksten en grote sequenties.

Het kan ongeveer zo worden voorgesteld:

• In plaats van de aandacht te berekenen: Attention(Q, K, V) = softmax(QKᵀ / sqrt(d)) V
• Berekent Linformer: Attention(Q, E K, F V), waarbij E en F trainbare matrices zijn die de dimensie van K en V verminderen.

Dit vereenvoudigt de berekeningen en vermindert de complexiteit tot O(n).