Em que difere o FlashAttention v2 do v1?

O FlashAttention v2 difere da versão v1 por várias melhorias destinadas a aumentar a eficiência e escalabilidade da atenção em transformadores:

• Otimização de memória: v2 usa algoritmos mais eficientes para calcular a atenção, o que reduz o consumo de memória e permite processar lotes grandes e sequências longas.

• Desempenho aprimorado: através de otimizações ao nível do núcleo GPU e uso mais eficiente da memória cache, alcança-se uma velocidade de cálculo mais alta.

• Suporte para novas arquiteturas: v2 amplia a compatibilidade com diferentes tipos de transformadores e pode integrar-se melhor com modelos modernos.

• Estabilidade aprimorada: alguns problemas de estabilidade numérica, que podiam ocorrer na v1 ao trabalhar com sequências grandes, foram corrigidos.

No geral, o FlashAttention v2 é uma solução mais eficiente e flexível para implementar o mecanismo de atenção, permitindo acelerar o treinamento e a inferência de grandes modelos de NLP.