¿Qué es la atención?

Atención — es un mecanismo en redes neuronales que permite al modelo centrarse en las partes más importantes de los datos de entrada durante el procesamiento. A diferencia de los modelos tradicionales, que procesan toda la información de manera uniforme, la atención pondera dinámicamente la contribución de diferentes elementos, mejorando la calidad de la comprensión y generación de datos.

Por ejemplo, en tareas de procesamiento de lenguaje natural, la atención ayuda al modelo a tener en cuenta el contexto de las palabras, destacando las palabras relevantes al traducir o responder preguntas.

Ejemplo de atención simple (atención por producto escalar escalada) en pseudocódigo:

# Q, K, V — matrices de consultas, claves y valores
scores = Q @ K.T / sqrt(d_k)  # cálculo de similitud
weights = softmax(scores)    # normalización de pesos
output = weights @ V          # suma ponderada de valores

El mecanismo de atención es la base de las arquitecturas de transformadores, ampliamente utilizadas en los marcos de IA modernos.