BERT'e ön işleme olmadan metin göndermek mümkün mü?

BERT'e ham without preprocessing raw text input yapılamaz. BERT modeli, giriş verilerinin özel bir tokenizer kullanılarak sayısal tokenlere dönüştürülmesini gerektirir; bu tokenizer, metni altkelimelere (WordPiece) böler ve bunları sözlük indeksleriyle eşleştirir.

Ön işleme şunları içerir:

• Metnin tokenleştirilmesi
• Özel tokenların eklenmesi ([CLS], [SEP])
• Tokenların indekslere dönüştürülmesi
• Dikkat maskelerinin oluşturulması

Bu adımlar olmadan, model girdiyi doğru şekilde yorumlayamaz, çünkü tam olarak bu sayısal temsiller üzerinde eğitilmiştir.

HuggingFace Transformers kullanımıyla örnek:

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
text = "Hello, world!"
inputs = tokenizer(text, return_tensors='pt')

Burada, inputs zaten modele verilebilecek sayısal tensörlerdir.