Qu'est-ce que SASRec et quelle est son architecture?

SASRec (Recommandation Séquentielle Auto-Attention) est un modèle pour les systèmes de recommandation qui utilise le mécanisme d’auto-attention des transformateurs pour prédire le prochain élément dans une séquence d’actions utilisateur (par exemple, achats ou visualisations).

L’architecture de SASRec est basée sur :

• Entrée : une séquence d’interactions de l’utilisateur avec des éléments (items), encodée en une représentation vectorielle.
• Embeddings d’informations positionnelles pour prendre en compte l’ordre des éléments dans la séquence.
• Plusieurs couches d’auto-attention permettant au modèle de considérer les dépendances entre éléments de la séquence à différentes distances.
• Couches de feed-forward après l’auto-attention pour des transformations non linéaires.
• En sortie, des probabilités du prochain élément que l’utilisateur peut choisir.

L’architecture ressemble à peu près à ceci :

Séquence d’entrée -> Embedding + Encodage positionnel ->
Auto-attention multi-tête -> Feed Forward ->
Logits de sortie pour la prédiction du prochain item

SASRec fonctionne bien avec de longues séquences et met en évidence dynamiquement les éléments importants de l’historique de l’utilisateur sans utiliser de réseaux récurrents.