Wat is FlashAttention vanuit het perspectief van kernel-programmering?

FlashAttention is een geoptimaliseerde CUDA-kernel voor het berekenen van het aandachtmechanisme in transformers, dat de berekeningen aanzienlijk versnelt en het geheugenverbruik vermindert.

Vanuit het perspectief van kernel-programmering implementeert FlashAttention de berekening van aandacht met behulp van efficiënt geheugenbeheer en parallelisme op de GPU. Belangrijkste kenmerken:

• Gebruik van gedeelde geheugenblokken voor het opslaan van tussenresultaten, wat langzame globale geheugenaanroepen vermindert.
• Berekening van aandacht in threads met minimale gegevensduplicatie.
• Optimalisatie van softmax-berekeningen met aandacht voor numerieke stabiliteit.
• Verwerking van grote sequenties zonder dat alle gegevens tegelijk in het geheugen geladen hoeven te worden.

Dit maakt het mogelijk om aandacht sneller uit te voeren en minder geheugen te gebruiken in vergelijking met klassieke implementaties, wat cruciaal is voor het trainen van grote modellen.

Bijvoorbeeld, de kernel laadt blokken van sleutels en verzoeken, berekent scalairproducten, past softmax toe en vermenigvuldigt met de waarden, gebruikmakend van gedeeld geheugen om te versnellen en het aantal globale geheugenaanroepen te minimaliseren.