Оё имкон дорад матнро дар BERT бе пешакӣ коркард кардан пешниҳод кард?

Нигоҳдории матни хомро ба BERT бе пешакӣ коркард кардан мумкин нест. Модели BERT талаб мекунад, ки маълумоти воридотӣ ба токенҳои рақамӣ табдил дода шаванд, бо ёрии токенизатори махсус, ки матнро ба зерсўзҳо (WordPiece) тақсим мекунад ва онҳоро бо индексҳои луғат пайванд мекунад.

Пешакӣ коркард дар бар мегирад:

• Токенсозии матн
• Илова кардани токенҳои махсус ([CLS], [SEP])
• Табдил додани токенҳо ба индексҳо
• Эҷоди маскаҳои таваҷҷӯҳ

Бе ин қадамҳо, модел наметавонад воридотро дуруст фаҳмад, зеро он дар ҳамин тасвирҳои рақамӣ тамрин шудааст.

Масалан бо истифода аз HuggingFace Transformers:

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
text = "Hello, world!"
inputs = tokenizer(text, return_tensors='pt')

Ин ҷо, inputs аллакай тензорҳои рақамӣ мебошанд, ки метавонанд ба модел дода шаванд.