¿Qué es BigBird y qué tipos de atención combina?

BigBird es una arquitectura de transformador diseñada para procesar secuencias muy largas, que los transformadores tradicionales no pueden manejar eficientemente debido a la complejidad cuadrática de la atención.

BigBird combina varios tipos de atención:

• Atención dispersa (sparse): en lugar de atención completa a todos los tokens, la atención se limita a un subconjunto de tokens.
• Atención global: algunos tokens especiales (por ejemplo, el token CLS) tienen acceso a todos los demás tokens, lo que permite mantener información global.
• Atención aleatoria: para cada token, se selecciona un conjunto aleatorio de otros tokens para la atención, ayudando a modelar dependencias diversas.
• Atención de ventana (window): cada token presta atención a los tokens vecinos en una ventana fija, asegurando un contexto local.

La combinación de estos tipos de atención permite que BigBird escale eficientemente a secuencias muy largas, manteniendo la calidad del modelo y reduciendo los costos computacionales de cuadráticos a lineales o cercanos a ellos.