Welches BERT wurde für das Re-Ranking verwendet?

Für das Re-Ranking werden häufig BERT-Modelle verwendet, die auf die Rangordnungsaufgabe angepasst sind, z.B. BERT-base oder BERT-large, die vorher auf Aufgaben des Vergleichs von Paaren oder der Klassifizierung von Relevanz trainiert wurden. Besonders beliebt sind die Architekturen Siamese BERT oder Cross-Encoder BERT, bei denen das Modell ein Paar (Anfrage, Dokument) erhält und eine Relevanzbewertung abgibt.

Beispiel: Für das Re-Ranking der Suchergebnisse werden zunächst die Top-N-Dokumente mittels klassischem Ranking ermittelt, dann wird der BERT Cross-Encoder angewandt, der die Übereinstimmung zwischen Anfrage und Dokument genauer bewertet und so die Qualität der endgültigen Liste verbessert.

Wichtig ist, dass oft leichtere Versionen von BERT oder Modelle mit Distillation, wie DistilBERT oder TinyBERT, verwendet werden, um das Re-Ranking zu beschleunigen, ohne die Qualität wesentlich zu beeinträchtigen.