¿Qué es el enfoque BERT-as-a-reranker?

BERT-como-reordenador — es un enfoque en la búsqueda de información, en el que un modelo preentrenado de BERT se utiliza para reevaluar (reordenar) la lista de documentos obtenidos en la primera etapa de búsqueda. Primero, un motor de búsqueda tradicional (por ejemplo, BM25) devuelve un conjunto de documentos relevantes para la consulta. Luego, BERT analiza pares de consulta y documento, evaluando su relevancia teniendo en cuenta el contexto y la semántica, y reorganiza los documentos en la lista, mejorando la calidad del ranking.

Este enfoque permite mejorar la precisión de la búsqueda, especialmente para consultas complejas donde el contexto profundo es importante. Sin embargo, requiere recursos computacionales significativos, por lo que a menudo se aplica solo a un número limitado de los mejores resultados de la primera etapa.

Ejemplo de uso:

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

query = "aplicaciones del aprendizaje automático"
documents = ["Introducción a ML", "Tutorial de aprendizaje profundo", "Recetas de cocina"]

# La búsqueda preliminar devuelve documentos
# Ahora BERT evalúa la relevancia de cada documento
scores = []
for doc in documents:
    inputs = tokenizer.encode_plus(query, doc, return_tensors='pt')
    outputs = model(**inputs)
    score = outputs.logits.softmax(dim=1)[0][1].item()  # probabilidad de relevancia
    scores.append((doc, score))

# Ordenamos los documentos por puntuación descendente
reranked = sorted(scores, key=lambda x: x[1], reverse=True)
print(reranked)