Qdrant'ta hibrit arama nedir ve yoğun + seyrek nasıl birleştirilir?

Qdrant'ta hibrit arama, arama kalitesini artırmak için yoğun (dense) vektör gömme ve seyrek (sparse) metin temsillerinin avantajlarını birleştiren bir arama yöntemidir.

• Yoğun arama, derin öğrenme modellerinden (örneğin, BERT) elde edilen vektör gömmeleri kullanır ve semantiği iyi yakalar.
• Seyrek arama ise anahtar kelime veya TF-IDF gibi klasik yöntemleri kullanır ve terimlerin tam eşleşmesiyle iyi çalışır.

Qdrant'ta hibrit arama, yoğun ve seyrek bileşenlerin skorlarının birleştirilmesiyle gerçekleştirilir. Genellikle şu şekilde yapılır:

1. Sorgu için, yoğun bir vektör hesaplanır ve vektör tabanında arama yapılır.
2. Paralel veya ardışık olarak, seyrek arama (örneğin, harici bir arama motoru aracılığıyla) yapılır.
3. Sonuçlar, yoğun ve seyrek bölümlerin ağırlıklı toplamı kullanılarak birleştirilir; burada yoğun ve seyrek kısımlar için ağırlıklar ayarlanabilir.

Skorların birleşimi için örnek pseudokod:

final_score = alpha * dense_score + (1 - alpha) * sparse_score

Burada alpha, her arama türünün katkısını düzenleyen bir katsayıdır.

Bu yaklaşım, hem semantik yakınlığı (yoğun) hem de anahtar kelime tam eşleşmesini (seyrek) dikkate alarak sonuçların alaka düzeyini artırır.