O que é o BigBird e que tipos de atenção ele combina?

O BigBird é uma arquitetura de transformador projetada para processar sequências muito longas, que os transformadores tradicionais não conseguem processar eficientemente devido à complexidade quadrática da atenção.

O BigBird combina vários tipos de atenção:

• Atenção dispersa (sparse): em vez de atenção completa a todos os tokens, a atenção é limitada a um subconjunto de tokens.
• Atenção global: alguns tokens especiais (por exemplo, o token CLS) têm acesso a todos os outros tokens, permitindo manter informações globais.
• Atenção aleatória: para cada token, um conjunto aleatório de outros tokens é selecionado para atenção, ajudando a modelar dependências diversas.
• Atenção de janela (window): cada token presta atenção aos tokens vizinhos numa janela fixa, garantindo um contexto local.

A combinação desses tipos de atenção permite que o BigBird escale eficientemente para sequências muito longas, mantendo a qualidade do modelo e reduzindo os custos computacionais de quadráticos para lineares ou próximos.