¿Qué es Flamingo y cuál es la idea de la atención cruzada en LM?

Flamingo es un modelo multimodal que combina procesamiento de imágenes y texto, permitiendo trabajar de manera eficiente en tareas que requieren comprensión y generación de información basada en múltiples tipos de datos.

La idea de cross-attention en modelos de lenguaje (Language Models, LM) es que el modelo, al generar texto, presta atención no solo a las palabras anteriores, sino también a otra información (por ejemplo, una imagen u otro texto), utilizando el mecanismo de atención.

En el contexto de Flamingo, cross-attention permite que el modelo de lenguaje integre características visuales de la imagen en el proceso de generación de texto. Esto se logra añadiendo capas de atención que vinculan los tokens de texto con las representaciones visuales, mejorando la comprensión del contexto y la calidad de las respuestas.

Funciona aproximadamente así:

• La imagen se codifica en un vector de características.
• Durante la generación de cada token de texto, el modelo mira estas características a través de cross-attention para tener en cuenta la información visual.

De esta manera, Flamingo y cross-attention permiten crear sistemas multimodales más flexibles y potentes, capaces de entender y generar contenido que combina diferentes tipos de datos.