Cos'è l'approccio BERT-as-a-reranker?

BERT-come-reranker — è un approccio nella ricerca di informazioni, in cui un modello BERT pre-addestrato viene utilizzato per rivalutare (riregolare) la lista dei documenti ottenuti nella prima fase di ricerca. Inizialmente, un motore di ricerca tradizionale (ad esempio, BM25) restituisce un insieme di documenti pertinenti alla query. Successivamente, BERT analizza le coppie query-document, valutando la loro pertinenza considerando il contesto e la semantica, e riordina i documenti nella lista, migliorando la qualità del ranking.

Questo approccio consente di aumentare la precisione della ricerca, specialmente per query complesse dove è importante un contesto approfondito. Tuttavia, richiede risorse computazionali significative, motivo per cui viene spesso applicato solo ai risultati principali della prima fase.

Esempio di utilizzo:

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

query = "applicazioni del machine learning"
documents = ["Introduzione al ML", "Tutorial di deep learning", "Ricette di cucina"]

# La ricerca preliminare restituisce documenti
# Ora BERT valuta la pertinenza di ogni documento
scores = []
for doc in documents:
    inputs = tokenizer.encode_plus(query, doc, return_tensors='pt')
    outputs = model(**inputs)
    score = outputs.logits.softmax(dim=1)[0][1].item()  # probabilità di pertinenza
    scores.append((doc, score))

# Ordiniamo i documenti in base al punteggio decrescente
reranked = sorted(scores, key=lambda x: x[1], reverse=True)
print(reranked)