Was ist Candidate Generation und welche Ansätze (BM25, Dense, Hybrid)?

Die Kandidatengenerierung ist eine Phase in Such- und Empfehlungssystemen, bei der aus einer großen Datenmenge eine begrenzte Anzahl relevanter Kandidaten für eine genauere Verarbeitung (z.B. Ranking) ausgewählt wird.\n\nHauptansätze für die Kandidatengenerierung:\n\n- BM25 — klassische Methode basierend auf der inversen Wortfrequenz (TF-IDF), die die Relevanz von Dokumenten anhand von Schlüsselwörtern der Anfrage bewertet. Funktioniert gut mit Textdaten, ist schnell und interpretierbar.\n\n- Dichte Abfrage — verwendet dichte Vektorrepräsentationen (Embeddings) von Anfragen und Dokumenten, die mit neuronalen Netzen erzeugt werden. Ermöglicht die Berücksichtigung von Semantik und Kontext, nicht nur die exakte Übereinstimmung von Wörtern.\n\n- Hybride — kombiniert BM25 und dichte Ansätze, um die Vorteile beider zu nutzen: exakte Übereinstimmung der Schlüsselwörter und semantisches Verständnis. Zum Beispiel werden zunächst Kandidaten mit BM25 ausgewählt, dann mit dichte Abfrage erweitert.\n\nDieser Ansatz ermöglicht es, die Dokumentenmenge effektiv auf relevante Kandidaten zu reduzieren, um eine tiefere Analyse und Ranking durchzuführen.