Šta je pristup BERT-as-a-reranker?

BERT-ka-za-poredak — ovo je pristup u pretraživanju informacija, gde se unapred obučeni BERT model koristi za ponovnu procenu (preuređenje) liste dokumenata dobijenih u prvom fazi pretraživanja. Prvo, tradicionalni pretraživač (npr. BM25) vraća skup relevantnih dokumenata za upit. Zatim, BERT analizira parove upit-dokument, procenjujući njihovu relevantnost uzimajući u obzir kontekst i semantiku, i preuređuje dokumente na listi, poboljšavajući kvalitet rangiranja.

Ovaj pristup omogućava povećanje tačnosti pretraživanja, posebno za složene upite gde je važan duboki kontekst. Međutim, zahteva značajne računarske resurse, zbog čega se često primenjuje samo na vrhu rezultata prve faze.

Primer upotrebe:

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

query = "primene mašinskog učenja"
documents = ["Uvod u ML", "Vodič za duboko učenje", "Recepti za kuvanje"]

# Preliminarno pretraživanje vraća dokumente
# Sada BERT procenjuje relevantnost svakog dokumenta
scores = []
for doc in documents:
    inputs = tokenizer.encode_plus(query, doc, return_tensors='pt')
    outputs = model(**inputs)
    score = outputs.logits.softmax(dim=1)[0][1].item()  # verovatnoća relevantnosti
    scores.append((doc, score))

# Sortiranje dokumenata po opadajućem rezultatu
reranked = sorted(scores, key=lambda x: x[1], reverse=True)
print(reranked)