Cos'è FlashAttention dal punto di vista della programmazione dei kernel?

FlashAttention è un kernel CUDA ottimizzato per il calcolo del meccanismo di attenzione nei trasformatori, che accelera significativamente i calcoli e riduce il consumo di memoria.

Dal punto di vista della programmazione dei kernel, FlashAttention implementa il calcolo dell'attenzione utilizzando una gestione efficiente della memoria e il parallelismo sulla GPU. Le caratteristiche principali:

• Uso di blocchi di memoria condivisa per memorizzare dati intermedi, riducendo le chiamate alla memoria globale lenta.
• Calcolo dell’attenzione in thread con minima duplicazione dei dati.
• Ottimizzazione del calcolo di softmax considerando la stabilità numerica.
• Elaborazione di sequenze grandi senza la necessità di caricare tutti i dati in memoria contemporaneamente.

Questo permette di eseguire l’attenzione più velocemente e con un minor consumo di memoria rispetto alle implementazioni classiche, il che è critico per l’addestramento di modelli grandi.

Ad esempio, il kernel carica blocchi di chiavi e richieste, calcola prodotti scalari, applica softmax e moltiplica per i valori, utilizzando la memoria condivisa per accelerare e minimizzare le chiamate alla memoria globale.