Kas BERT-i sisestada teksti ilma eelneva töötlemiseta?

Ei ole võimalik sisestada toorest teksti BERT-i ilma eelneva töötlemiseta. BERT-mudel nõuab, et sisendandmed teisendatakse numbrilisteks tokeniteks spetsiaalse tokeniseerija abil, mis jagab teksti alamsõnadeks (WordPiece) ja seob need sõnastiku indeksitega.

Eelneva töötlemise sammud hõlmavad:

• Teksti tokeniseerimist
• Spetsiaalsete tokenite lisamist ([CLS], [SEP])
• Tokenite teisendamist indeksiteks
• Tähelepanu maskide loomist

Ilma nende sammudeta ei suuda mudel sisendit õigesti tõlgendada, kuna see on just sellistel numbrilistel esitusviisidel treenitud.

Näide HuggingFace Transformers-i kasutades:

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
text = "Hello, world!"
inputs = tokenizer(text, return_tensors='pt')

Siin on inputs juba numbrilised tensordid, mida saab mudelile sisestada.