BERT çıxış məlumatlarını necə təqdim edir?

BERT (Transformatorlardan İki Yönlü Kodlayıcı Temsilleri) çıxış məlumatlarını iki səviyyədə şərh etmək mümkündür:

1. Token gölməçələri: hər bir giriş tokeni (söz və ya alt söz) üçün BERT sabit ölçülü vektor təqdim edir (adətən 768 və ya 1024, modelə görə). Bu vektorlar, ətrafdakı sözləri nəzərə alaraq kontekstual məlumatları ehtiva edir.

2. Pooling vektoru [CLS]: xüsusi [CLS] tokeni, ardıcıllığın əvvəlinə əlavə olunur, model tərəfindən işlənəndən sonra, ümumi cümlə və ya mətnin təsnifatı üçün tez-tez istifadə olunan vektor verir.

Məsələn, Hugging Face Transformers kitabxanasını istifadə edərək, modelin çıxışı adətən aşağıdakıları ehtiva edir:

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # tensor (partiya ölçüsü, seq uzunluğu, gizli ölçü)
pooler_output = outputs.pooler_output  # tensor (partiya ölçüsü, gizli ölçü), [CLS] ilə uyğun gəlir

Beləliklə, BERT-in çıxış məlumatları hər token üçün kontekstual gölməçə və bütün ardıcıllıq üçün toplanmış vektordur.