Cos'è FlashAttention e quale vantaggio di memoria offre?

FlashAttention è un algoritmo ottimizzato per il calcolo del meccanismo di attenzione nei trasformatori, che riduce significativamente il consumo di memoria e accelera i calcoli rispetto all'approccio classico.

L'idea principale di FlashAttention è calcolare l'attenzione senza memorizzare esplicitamente grandi matrici di risultati intermedi (ad esempio, la matrice di pesi di attenzione QK^T), utilizzando l'elaborazione a blocchi e un uso efficiente della cache GPU. Questo permette di ridurre il consumo massimo di memoria di circa 3-4 volte, il che è particolarmente importante durante l'addestramento di grandi modelli linguistici (LLM) con sequenze lunghe.

Più o meno, se l'attenzione classica richiede memoria O(N^2) per una sequenza di lunghezza N, FlashAttention riduce questo carico grazie a calcoli in tempo reale e ottimizzazioni, consentendo di eseguire modelli con contesti più grandi sulle stesse GPU.

Pertanto, FlashAttention è un modo per rendere l'attenzione più efficiente in termini di memoria e velocità, il che è critico per modelli di grande scala.