Wat is SASRec en wat is de architectuur ervan?

SASRec (Self-Attentive Sequential Recommendation) is een model voor aanbevelingssystemen dat het self-attention mechanisme uit transformers gebruikt om het volgende element in een sequentie van gebruikersacties (bijvoorbeeld aankopen of weergaven) te voorspellen.

De architectuur van SASRec is gebaseerd op:

• Invoer: een sequentie van interacties van de gebruiker met items, gecodeerd in een vectorrepresentatie.
• Positional embeddings om de volgorde van de elementen in de sequentie in overweging te nemen.
• Meerdere lagen van self-attention die het model in staat stellen afhankelijkheden tussen elementen op verschillende afstanden te overwegen.
• Feed-forward lagen na self-attention voor niet-lineaire transformaties.
• Aan de uitgang, waarschijnlijkheden voor het volgende element dat de gebruiker kan kiezen.

De architectuur ziet er ongeveer zo uit:

Invoersequentie -> Embedding + Positional Encoding ->
Multi-head Self-Attention -> Feed Forward ->
Uitgangslogits voor voorspelling van het volgende item

SASRec werkt goed met lange sequenties en benadrukt dynamisch belangrijke elementen uit de gebruikersgeschiedenis zonder gebruik te maken van recursieve netwerken.