¿Cuál es la diferencia entre self-attention y cross-attention, y para qué se usa cada uno?

Autoatención — es un mecanismo en el que los elementos de una secuencia de entrada interactúan entre sí para calcular pesos de importancia. Cada elemento 'observa atentamente' a todos los demás elementos de la misma secuencia para entender cuáles son más relevantes para el paso actual. Este es un componente clave en los transformadores para procesar secuencias, por ejemplo, en modelos de lenguaje.

Atención cruzada — se utiliza cuando hay dos secuencias diferentes: una actúa como consulta (query), y la otra como claves y valores (key, value). La atención cruzada permite que el modelo se enfoque en las partes relevantes de la segunda secuencia al procesar la primera. Por ejemplo, en tareas de traducción o generación de texto, la atención cruzada conecta la salida del decodificador con la salida del codificador.

En resumen:

• La autoatención ayuda al modelo a considerar el contexto dentro de una misma secuencia.
• La atención cruzada conecta dos secuencias diferentes, permitiendo que una tenga en cuenta la información de la otra.

Ejemplo: en un transformador para traducción, la autoatención se aplica dentro del codificador y del decodificador, mientras que la atención cruzada se aplica entre el codificador y el decodificador.