Je možné odovzdať text do BERT bez predspracovania?

Nie je možné zadať surový text do BERT bez predspracovania. Model BERT vyžaduje, aby boli vstupné údaje prevedené na číselné tokeny pomocou špeciálneho tokenizéra, ktorý rozdelí text na podslová (WordPiece) a priradí ich k indexom zo slovníka.

Predspracovanie zahŕňa:

• Tokenizáciu textu
• Pridanie špeciálnych tokenov ([CLS], [SEP])
• Konverziu tokenov na indexy
• Vytvorenie masiek pozornosti

Bez týchto krokov model nebude schopný správne interpretovať vstup, pretože bol presne na týchto číselných reprezentáciách trénovaný.

Príklad s HuggingFace Transformers:

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
text = "Hello, world!"
inputs = tokenizer(text, return_tensors='pt')

Tu sú inputs už číselné tenzory, ktoré je možné odovzdať modelu.