Qu'est-ce que l'approche BERT-as-a-reranker?

BERT-en-tant-que-reranker — c’est une approche en recherche d’information, où un modèle BERT pré-entraîné est utilisé pour réévaluer (reclasser) la liste des documents obtenus lors de la première étape de recherche. D’abord, un moteur de recherche traditionnel (par exemple, BM25) renvoie un ensemble de documents pertinents pour la requête. Ensuite, BERT analyse les paires requête-document, en évaluant leur pertinence en tenant compte du contexte et de la sémantique, et réorganise la liste des documents, améliorant la qualité du classement.

Cette approche permet d’améliorer la précision de la recherche, notamment pour les requêtes complexes où un contexte approfondi est important. Cependant, elle nécessite des ressources computationnelles importantes, c’est pourquoi elle est souvent appliquée uniquement aux résultats principaux de la première étape.

Exemple d’utilisation:

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

query = "applications de l’apprentissage automatique"
documents = ["Introduction à ML", "Tutoriel d’apprentissage profond", "Recettes de cuisine"]

# La recherche initiale retourne des documents
# Maintenant, BERT évalue la pertinence de chaque document
scores = []
for doc in documents:
    inputs = tokenizer.encode_plus(query, doc, return_tensors='pt')
    outputs = model(**inputs)
    score = outputs.logits.softmax(dim=1)[0][1].item()  # probabilité de pertinence
    scores.append((doc, score))

# Tri des documents par score décroissant
reranked = sorted(scores, key=lambda x: x[1], reverse=True)
print(reranked)