Μπορείτε να υποβάλετε κείμενο στο BERT χωρίς προεπεξεργασία;

Δεν είναι δυνατόν να εισάγετε ακατέργαστο κείμενο στο BERT χωρίς προεπεξεργασία. Το μοντέλο BERT απαιτεί τα δεδομένα εισόδου να μετατραπούν σε αριθμητικά tokens με τη βοήθεια ενός ειδικού tokenizer, ο οποίος διασπά το κείμενο σε υπολέξεις (WordPiece) και τα αντιστοιχεί σε δείκτες από το λεξικό.

Η προεπεξεργασία περιλαμβάνει:

• Τεμαχισμό του κειμένου
• Προσθήκη ειδικών tokens ([CLS], [SEP])
• Μετατροπή των tokens σε δείκτες
• Δημιουργία masks προσοχής

Χωρίς αυτά τα βήματα, το μοντέλο δεν θα μπορέσει να ερμηνεύσει σωστά την είσοδο, καθώς έχει εκπαιδευτεί ακριβώς σε αυτές τις αριθμητικές αναπαραστάσεις.

Παράδειγμα με HuggingFace Transformers:

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
text = "Hello, world!"
inputs = tokenizer(text, return_tensors='pt')

Εδώ, τα inputs είναι ήδη αριθμητικοί tensors που μπορούν να δοθούν στο μοντέλο.