Կարող է բեռնել տեքստը BERT-ին նախապատրաստման առանց?

Անհնար է բովանդակային տեքստը ներկայացնել BERT-ին նախապատրաստում չանելու դեպքում: BERT մոդելը պահանջում է, որ մուտքային տվյալները փոխարկվեն թվային տոքենների, հատուկ տոքենիզատորի միջոցով, որը բաժանում է տեքստը ենթասպասավորությունների (WordPiece) և կապում դրանք բառարանի ինդեքսների հետ:

Նախապատրաստումը ներառում է.

• Տեքստի տոքենիզացում
• Հատուկ տոքենների ավելացում ([CLS], [SEP])
• Տոքենների փոխարկում ինդեքսների
• Զգուշության մասկերի ստեղծում

Այս քայլեր բացակայության դեպքում մոդելը չի կարող ճիշտ կերպով մեկնաբանել մուտքը, քանի որ այն հենց այդ թվային ներկայացումներով է ուսուցանվել:

Օրինակ HuggingFace Transformers-ով:

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
text = "Hello, world!"
inputs = tokenizer(text, return_tensors='pt')

Այստեղ, inputs արդեն թվային տենզորներ են, որոնք կարող են փոխանցվել մոդելին: