¿Cómo presenta BERT los datos de salida?

BERT (Representaciones de Codificador Bidireccional de Transformadores) presenta los datos de salida en forma de tensores, que se pueden interpretar en dos niveles:

1. Embeddings por token: para cada token de entrada (palabra o subpalabra), BERT proporciona un vector de dimensión fija (generalmente 768 o 1024 dependiendo del modelo). Estos vectores contienen información contextual, considerando las palabras circundantes en ambos lados.

2. Vector de pooling [CLS]: un token especial [CLS], que se añade al inicio de la secuencia, después de ser procesado por el modelo, produce un vector que a menudo se usa para tareas de clasificación de toda la oración o texto.

Por ejemplo, al usar la biblioteca Hugging Face Transformers, la salida del modelo generalmente contiene:

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # tensor (batch_size, seq_length, hidden_size)
pooler_output = outputs.pooler_output  # tensor (batch_size, hidden_size), correspondiente a [CLS]

Por lo tanto, los datos de salida de BERT son un conjunto de embeddings contextuales para cada token y un vector agregado para toda la secuencia.