BERT çıkış verilerini nasıl temsil eder?

BERT (İki Yönlü Kodlayıcı Temsilleri) çıktı verilerini, iki seviyede yorumlanabilen tensörler olarak sunar:

1. Token gömme (Token embeddings): Her giriş tokeni (kelime veya alt kelime) için BERT, sabit boyutlu bir vektör sağlar (genellikle 768 veya 1024, modele bağlı olarak). Bu vektörler, çevresindeki kelimeleri dikkate alarak bağlamsal bilgileri içerir.

2. Pooing vektörü [CLS]: dizinin başına eklenen özel [CLS] tokeni, model tarafından işlendiğinde, genellikle tüm cümle veya metin sınıflandırma görevleri için kullanılan bir vektör üretir.

Örneğin, Hugging Face Transformers kütüphanesini kullanırken, model çıkışı genellikle şunları içerir:

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # tensor (batch_size, seq_length, hidden_size)
pooler_output = outputs.pooler_output  # tensor (batch_size, hidden_size), [CLS]'ye karşılık gelir

Bu nedenle, BERT'ün çıktı verileri, her token için bağlamsal gömme kümeleri ve tüm dizgi için toplanmış bir vektördür.