BERT-ə əvvəlcədən işləmə olmadan mətn təqdim etmək mümkündürmü?

BERT-ə işlənməmiş mətnləri əvvəlcədən işləmədən təqdim etmək mümkün deyil. BERT modeli giriş məlumatlarının xüsusi bir tokenizator vasitəsilə sayısal tokenlərə çevrilməsini tələb edir; bu tokenizator mətni altkəlimələrə (WordPiece) bölür və onları sözlük indeksləri ilə əlaqələndirir.

Əvvəlcədən işləmə aşağıdakı addımları əhatə edir:

• Mətnin tokenləşdirilməsi
• Xüsusi tokenlərin əlavə olunması ([CLS], [SEP])
• Tokenlərin indekslərə çevrilməsi
• Diqqət maskalarının yaradılması

Bu addımlar olmadan, model girişləri düzgün şəkildə şərh edə bilməz, çünki o, dəqiqən bu sayısal ifadələr üzərində öyrədilmişdir.

HuggingFace Transformers ilə nümunə:

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
text = "Hello, world!"
inputs = tokenizer(text, return_tensors='pt')

Burada, inputs artıq modelə verilə biləcək sayısal tensorlərdir.