Como é que o BERT apresenta os dados de saída?

O BERT (Representações de Codificador Bidirecional de Transformadores) apresenta os dados de saída na forma de tensores, que podem ser interpretados em dois níveis:

1. Embeddings por token: para cada token de entrada (palavra ou subpalavra), o BERT fornece um vetor de dimensão fixa (geralmente 768 ou 1024 dependendo do modelo). Esses vetores contêm informações contextuais, considerando as palavras ao redor de ambos os lados.

2. Vetor de pooling [CLS]: um token especial [CLS], adicionado ao início da sequência, após processamento pelo modelo, produz um vetor que é frequentemente usado para tarefas de classificação de toda a frase ou texto.

Por exemplo, ao usar a biblioteca Hugging Face Transformers, a saída do modelo geralmente contém:

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # tensor (tamanho_do_lote, comprimento_seq, tamanho_oculto)
pooler_output = outputs.pooler_output  # tensor (tamanho_do_lote, tamanho_oculto), correspondente a [CLS]

Assim, os dados de saída do BERT são um conjunto de embeddings contextuais para cada token e um vetor agregado para toda a sequência.