Kas ir BERT-as-a-reranker pieeja?

BERT-kā-reģistrētājs — tas ir pieeja informācijas meklēšanā, kurā iepriekš apmācīts BERT modelis tiek izmantots, lai pārskatītu (pārkārtotu) pirmās posma meklēšanas rezultātu sarakstu. Sākumā tradicionālais meklētājs (piemēram, BM25) atgriež atbilstošus dokumentus pieprasījumam. Tad BERT analizē pieprasījuma un dokumenta pārus, novērtējot to atbilstību, ņemot vērā kontekstu un semantiku, un pārkārto dokumentus sarakstā, uzlabojot reitinga kvalitāti.

Šī pieeja ļauj palielināt meklēšanas precizitāti, īpaši sarežģītu pieprasījumu gadījumos, kur ir svarīgs dziļš konteksts. Tomēr tā prasa ievērojamus skaitļošanas resursus, tāpēc bieži tiek piemērota tikai pirmajā posmā iegūto labāko rezultātu apstrādei.

Piemērs lietošanai:

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

query = "mašīnmācīšanās pielietojumi"
documents = ["ML ievads", "Deep learning rokasgrāmata", "Virtuves receptes"]

# Pirmapriem meklējums atgriež dokumentus
# Tagad BERT novērtē katra dokumenta atbilstību
scores = []
for doc in documents:
    inputs = tokenizer.encode_plus(query, doc, return_tensors='pt')
    outputs = model(**inputs)
    score = outputs.logits.softmax(dim=1)[0][1].item()  # atbilstības varbūtība
    scores.append((doc, score))

# Sakārto dokumentus pēc rezultāta dilstošā secībā
reranked = sorted(scores, key=lambda x: x[1], reverse=True)
print(reranked)