O que é o Performer e qual é a ideia da aproximação de características aleatórias?

Performer é uma arquitetura de transformador que utiliza o método de aproximação de atenção com características aleatórias para reduzir a complexidade computacional.

A ideia é substituir o mecanismo clássico de atenção, que tem complexidade quadrática em relação ao comprimento da sequência, por uma atenção mais eficiente que aproxima a atenção através de projeções no espaço de características aleatórias. Isso permite calcular a atenção com complexidade linear, o que é especialmente importante para sequências longas em PLN.

A aproximação de características aleatórias é um método em que o núcleo de atenção é aproximado usando projeções aleatórias, permitindo calcular eficientemente produtos escalares em um novo espaço sem construir explicitamente a matriz de atenção completa.