Wat is de BERT-as-a-reranker aanpak?

BERT-als-een-herordelaar — dit is een aanpak in informatiezoek, waarbij een vooraf getraind BERT-model wordt gebruikt om de lijst van documenten die in de eerste fase zijn verkregen, opnieuw te beoordelen (her te rangschikken). Eerst geeft een traditionele zoekmachine (bijvoorbeeld BM25) een set relevante documenten voor de query. Vervolgens analyseert BERT de query-document paren, beoordeelt hun relevantie rekening houdend met de context en semantiek, en herschikt de documenten in de lijst, waardoor de kwaliteit van de rangschikking wordt verbeterd.

Deze aanpak maakt het mogelijk om de zoeknauwkeurigheid te verhogen, vooral voor complexe zoekopdrachten waarbij diepgaande context belangrijk is. Echter, het vereist aanzienlijke computationele bronnen, daarom wordt het vaak alleen toegepast op de topresultaten van de eerste fase.

Voorbeeld van gebruik:

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

query = "toepassingen van machine learning"
documents = ["Inleiding tot ML", "Tutorial over deep learning", "Kookrecepten"]

# De voorlopige zoekopdracht retourneert documenten
# Nu beoordeelt BERT de relevantie van elk document
scores = []
for doc in documents:
    inputs = tokenizer.encode_plus(query, doc, return_tensors='pt')
    outputs = model(**inputs)
    score = outputs.logits.softmax(dim=1)[0][1].item()  # relevantie waarschijnlijkheid
    scores.append((doc, score))

# Sorteer documenten op aflopende score
reranked = sorted(scores, key=lambda x: x[1], reverse=True)
print(reranked)