BERT chiqish ma'lumotlarini qanday taqdim etadi?

BERT (Transformatorlardan Ikki Yo'nalishli Encoder Ta'riflari) chiqish ma'lumotlarini ikkita darajada talqin qilish mumkin bo'lgan tensorlar shaklida taqdim etadi:

1. Tokenlar bo'yicha embedlar: har bir kirish tokeni (so'z yoki sub-so'z) uchun BERT o'zgaruvchan o'lchamdagi vektor (odatda 768 yoki 1024, modelga qarab) taqdim etadi. Bu vektorlar atrofdagi so'zlarni hisobga olgan holda kontekstual ma'lumotlarni o'z ichiga oladi.

2. Pooling vektori [CLS]: maxsus [CLS] tokeni, ketma-ketlik boshiga qo'shiladi, model tomonidan ishlov berilgach, odatda butun gap yoki matnni tasniflash vazifalari uchun ishlatiladigan vektor hosil qiladi.

Masalan, Hugging Face Transformers kutubxonasidan foydalanib, model chiqishi odatda quyidagilarni o'z ichiga oladi:

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # tensor (partiya hajmi, ketma-ketlik uzunligi, yashirin o'lcham)
pooler_output = outputs.pooler_output  # tensor (partiya hajmi, yashirin o'lcham), [CLS] ga mos keladi

Shu bilan, BERT ning chiqish ma'lumotlari har bir token uchun kontekstual embedlar va butun ketma-ketlik uchun yig'ilgan vektordan iborat.