O que é o SASRec e qual é a sua arquitetura?

O SASRec (Recomendação Sequencial Auto-Atentiva) é um modelo para sistemas de recomendação que utiliza o mecanismo de auto-atenção dos transformadores para prever o próximo elemento numa sequência de ações do utilizador (por exemplo, compras ou visualizações).

A arquitetura do SASRec baseia-se em:

• Entrada: uma sequência de interações do utilizador com elementos (items), codificada numa representação vetorial.
• Embeddings de informação posicional para considerar a ordem dos elementos na sequência.
• Várias camadas de auto-atenção que permitem ao modelo considerar dependências entre elementos da sequência a diferentes distâncias.
• Camadas de feed-forward após a auto-atenção para transformações não lineares.
• Na saída, probabilidades do próximo elemento que o utilizador pode escolher.

A arquitetura parece-se aproximadamente com isto:

Sequência de entrada -> Embedding + Codificação Posicional ->
Auto-atenção multi-cabeça -> Feed Forward ->
Logits de saída para previsão do próximo item

O SASRec funciona bem com sequências longas e destaca dinamicamente os elementos importantes da história do utilizador sem usar redes recorrentes.