Vai tekstu BERT var ievadīt bez iepriekšējas apstrādes?

Nav iespējams ievadīt neapstrādātu tekstu BERT bez iepriekšējas apstrādes. BERT modelis prasa, lai ievades dati tiktu pārveidoti par skaitliskiem tokeniem, izmantojot īpašu tokenizatoru, kas sadala tekstu apakšvārdu (WordPiece) un sasaista tos ar vārdnīcas indeksiem.

Iepriekšēja apstrāde ietver:

• Teksta tokenizāciju
• Īpašo tokenu pievienošanu ([CLS], [SEP])
• Tokenu pārvēršanu par indeksiem
• Uzmanības masku izveidi

Bez šiem soļiem modelis nevarēs pareizi interpretēt ievadi, jo tas tieši šādās skaitliskajās reprezentācijās ir apmācīts.

Piemērs, izmantojot HuggingFace Transformers:

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
text = "Hello, world!"
inputs = tokenizer(text, return_tensors='pt')

Šeit inputs ir jau skaitliski tenzori, kurus var nodot modelim.