O que é a abordagem BERT-as-a-reranker?

BERT-como-reordenador — é uma abordagem na pesquisa de informação, na qual um modelo BERT pré-treinado é usado para reavaliar (reordenar) a lista de documentos obtidos na primeira fase de pesquisa. Primeiro, um motor de busca tradicional (por exemplo, BM25) retorna um conjunto de documentos relevantes para a consulta. Depois, o BERT analisa pares de consulta e documento, avaliando sua relevância considerando o contexto e a semântica, e reorganiza os documentos na lista, melhorando a qualidade do ranqueamento.

Essa abordagem permite aumentar a precisão da busca, especialmente para consultas complexas onde o contexto profundo é importante. No entanto, ela requer recursos computacionais significativos, sendo frequentemente aplicada apenas aos resultados principais da primeira fase.

Exemplo de uso:

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

query = "aplicações de aprendizagem automática"
documents = ["Introdução ao ML", "Tutorial de aprendizagem profunda", "Receitas de cozinha"]

# A busca preliminar retorna documentos
# Agora o BERT avalia a relevância de cada documento
scores = []
for doc in documents:
    inputs = tokenizer.encode_plus(query, doc, return_tensors='pt')
    outputs = model(**inputs)
    score = outputs.logits.softmax(dim=1)[0][1].item()  # probabilidade de relevância
    scores.append((doc, score))

# Ordena os documentos por pontuação decrescente
reranked = sorted(scores, key=lambda x: x[1], reverse=True)
print(reranked)