¿Qué es SASRec y cuál es su arquitectura?

SASRec (Recomendación Secuencial Autónoma) es un modelo para sistemas de recomendación que utiliza el mecanismo de auto-atención de los transformadores para predecir el siguiente elemento en una secuencia de acciones del usuario (por ejemplo, compras o visualizaciones).

La arquitectura de SASRec se basa en:

• Entrada: una secuencia de interacciones del usuario con elementos (items), codificada en una representación vectorial.
• Embeddings de información posicional para tener en cuenta el orden de los elementos en la secuencia.
• Varias capas de auto-atención que permiten al modelo considerar dependencias entre elementos de la secuencia en diferentes distancias.
• Capas de alimentación hacia adelante después de la auto-atención para transformaciones no lineales.
• En la salida, probabilidades del siguiente elemento que el usuario puede seleccionar.

La arquitectura se ve aproximadamente así:

Secuencia de entrada -> Embedding + Codificación Posicional ->
Auto-atención Multi-cabeza -> Alimentación hacia adelante ->
Logits de salida para la predicción del siguiente ítem

SASRec funciona bien con secuencias largas y destaca dinámicamente los elementos importantes en la historia del usuario sin usar redes recurrentes.