რა არის BERT-as-a-reranker მიდგომა?

BERT-როგორც-რანჟერი — ეს არის მიდგომა ინფორმაციის ძიებაში, სადაც წინასწარ გაწვრთნილი BERT მოდელი გამოიყენება პირველ ეტაპზე მიღებული დოკუმენტების სიას გადაფასებისთვის (განახლებისთვის). თავდაპირველად, ტრადიციული ძიების მანქანა (მაგალითად, BM25) აბრუნებს შესაბამის დოკუმენტებს კითხვაზე. შემდეგ, BERT ანალიზს ახდენს კითხვასა და დოკუმენტს შორის წყვილებს, აფასებს მათ შესაბამისობას კონტექსტისა და სემანტიკის გათვალისწინებით, და გადალაგებს დოკუმენტებს სიაში, რითაც აუმჯობესებს რეიტინგის ხარისხს.

ეს მიდგომა საშუალებას აძლევს გააუმჯობესოს ძიების სიზუსტე, განსაკუთრებით რთული კითხვებისთვის, სადაც მნიშვნელოვანია სიღრმისეული კონტექსტი. თუმცა, ის მოითხოვს მნიშვნელოვან გამოთვლით რესურსებს, ამიტომ ხშირად გამოიყენება მხოლოდ პირველ ეტაპზე საუკეთესო შედეგებზე.

გამოყენების მაგალითი:

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

query = "მაშინების სწავლების გამოყენებები"
documents = ["ML-ის შესავალი", "გაღრმავებული სწავლების სახელმძღვანელო", "მზარეულის რეცეპტები"]

# საწყისი ძიება აბრუნებს დოკუმენტებს
# ახლა, BERT აფასებს თითოეული დოკუმენტის შესაბამისობას
scores = []
for doc in documents:
    inputs = tokenizer.encode_plus(query, doc, return_tensors='pt')
    outputs = model(**inputs)
    score = outputs.logits.softmax(dim=1)[0][1].item()  # შესაბამისობის ალბათობა
    scores.append((doc, score))

# დოკუმენტებს ვაწესებთ სკორების მიხედვით კლებადობით
reranked = sorted(scores, key=lambda x: x[1], reverse=True)
print(reranked)