Was ist die Hybrid-Suche in Qdrant und wie kombiniert man dense + sparse?

Die hybride Suche in Qdrant ist eine kombinierte Suche, die die Vorteile von dichten Vektor-Embeddings und spärlichen Textdarstellungen vereint, um die Suchqualität zu verbessern.

• Dichte Suche basiert auf der Suche nach Vektor-Embeddings, die aus Deep-Learning-Modellen (z.B. BERT) stammen und die Semantik gut erfassen.
• Spärliche Suche verwendet klassische Methoden, wie die Suche nach Schlüsselwörtern oder TF-IDF, die bei genauen Begriffskoinzidenzen gut funktionieren.

In Qdrant wird die hybride Suche durch die Kombination der Scores der dichten und spärlichen Komponenten realisiert. Das geschieht in der Regel so:

1. Für die Anfrage wird ein dichter Vektor berechnet und in der Vektordatenbank gesucht.
2. Parallel oder sequenziell wird eine spärliche Suche durchgeführt (z.B. über eine externe Suchmaschine).
3. Die Ergebnisse werden durch gewichtete Summierung der Scores kombiniert, wobei die Gewichte für die dichten und spärlichen Teile angepasst werden können.

Beispiel für Pseudocode zur Score-Kombination:

final_score = alpha * dense_score + (1 - alpha) * sparse_score

wobei alpha ein Koeffizient ist, der den Beitrag jedes Suchtyps reguliert.

Dieser Ansatz ermöglicht es, sowohl die semantische Nähe (dicht) als auch die exakte Übereinstimmung von Schlüsselwörtern (spärlich) zu berücksichtigen, um die Relevanz der Ergebnisse zu verbessern.