Τι είναι η προσέγγιση BERT-as-a-reranker;

BERT-ως-ανακατατάσσων — αυτή είναι μια προσέγγιση στην αναζήτηση πληροφοριών, όπου ένα προ-εκπαιδευμένο μοντέλο BERT χρησιμοποιείται για την επανεκτίμηση (αναδιάταξη) της λίστας εγγράφων που λαμβάνονται στο πρώτο στάδιο της αναζήτησης. Αρχικά, ένας παραδοσιακός μηχανισμός αναζήτησης (π.χ., BM25) επιστρέφει ένα σύνολο σχετικών εγγράφων για το ερώτημα. Στη συνέχεια, το BERT αναλύει τις ζεύξεις ερώτησης-εγγράφου, αξιολογώντας τη σχετικότητά τους λαμβάνοντας υπόψη το πλαίσιο και τη σημασιολογία, και επαναταξινομεί τα έγγραφα στη λίστα, βελτιώνοντας την ποιότητα της κατάταξης.

Αυτή η προσέγγιση επιτρέπει την αύξηση της ακρίβειας της αναζήτησης, ειδικά για πολύπλοκα ερωτήματα όπου είναι σημαντικό το βαθύ πλαίσιο. Ωστόσο, απαιτεί σημαντικούς υπολογιστικούς πόρους, γι’ αυτό συχνά εφαρμόζεται μόνο στα κορυφαία αποτελέσματα του πρώτου σταδίου.

Παράδειγμα χρήσης:

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

query = "εφαρμογές μηχανικής μάθησης"
documents = ["Εισαγωγή στο ML", "Οδηγός για βαθιά μάθηση", "Συνταγές μαγειρικής"]

# Η προκαταρκτική αναζήτηση επιστρέφει έγγραφα
# Τώρα, το BERT αξιολογεί τη σχετικότητα κάθε εγγράφου
scores = []
for doc in documents:
    inputs = tokenizer.encode_plus(query, doc, return_tensors='pt')
    outputs = model(**inputs)
    score = outputs.logits.softmax(dim=1)[0][1].item()  # πιθανότητα σχετικότητας
    scores.append((doc, score))

# Ταξινομούμε τα έγγραφα κατά φθίνουσα βαθμολογία
reranked = sorted(scores, key=lambda x: x[1], reverse=True)
print(reranked)