Kā BERT attēlo izejas datus?

BERT (Divvirzienu Encodeju Reprezentācijas no Transformatoriem) sniedz izejas datus tensoru formā, kurus var interpretēt divos līmeņos:

1. Tokenu iekļaušanas: katram ievades tokenam (vārds vai apakšvārds) BERT nodrošina fiksēta izmēra vektoru (parasti 768 vai 1024, atkarībā no modeļa). Šie vektori satur kontekstualizētu informāciju, ņemot vērā apkārtējos vārdus abās pusēs.

2. Poolera vektors [CLS]: īpašs [CLS] tokens, kas pievienots secības sākumam, pēc modeļa apstrādes rada vektoru, ko bieži izmanto visa teikuma vai teksta klasifikācijas uzdevumiem.

Piemēram, izmantojot Hugging Face Transformers bibliotēku, modeļa izvade parasti satur:

outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state  # tensoris (partijas lielums, secības garums, slēptais lielums)
pooler_output = outputs.pooler_output  # tensoris (partijas lielums, slēptais lielums), atbilst [CLS]

Tādējādi, BERT izejas dati ir kontekstualizētu iekļaušanu kopums katram tokenam un agregēts vektors visai secībai.