Comment BERT présente-t-il les données de sortie?

BERT (Représentations d'Encodeur Bidirectionnel à partir de Transformers) présente les données de sortie sous forme de tenseurs, qui peuvent être interprétés à deux niveaux:

1. Embeddings par token: pour chaque token d'entrée (mot ou sous-mot), BERT fournit un vecteur de dimension fixe (généralement 768 ou 1024 selon le modèle). Ces vecteurs contiennent des informations contextuelles, en tenant compte des mots environnants des deux côtés.

2. Vecteur de pooling [CLS]: un token spécial [CLS], ajouté au début de la séquence, après traitement par le modèle, produit un vecteur souvent utilisé pour les tâches de classification de toute la phrase ou du texte.

Par exemple, en utilisant la bibliothèque Hugging Face Transformers, la sortie du modèle contient généralement:

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # tenseur (taille_bat, longueur_seq, taille_cache)
pooler_output = outputs.pooler_output  # tenseur (taille_bat, taille_cache), correspondant à [CLS]

Ainsi, les données de sortie de BERT sont un ensemble d'embeddings contextuels pour chaque token et un vecteur agrégé pour toute la séquence.