Qdrantda hibrid axtarış nədir və necə birləşdirmək olar dense + sparse?

Qdrant-da hibrid axtarış, axtarış keyfiyyətini yaxşılaşdırmaq üçün sıx (dense) vektor gömmələri və seyrek (sparse) mətn təqdimatlarının üstünlüklərini birləşdirən birləşmiş axtarış metodudur.

• Sıx axtarış, dərin öyrənmə modellərindən (məsələn, BERT) əldə edilən vektor gömmələrinə əsaslanır və semantikanı yaxşı tutar.
• Seyrek axtarış isə klassik metodlardan istifadə edir, məsələn, açar sözlər və ya TF-IDF ilə axtarış, və dəqiq termin uyğunluğu ilə yaxşı işləyir.

Qdrant-da hibrid axtarış, sıx və seyrek komponentlərin ballarını birləşdirərək həyata keçirilir. Bu adətən belə edilir:

1. Sorğu üçün sıx vektor hesablanır və vektor bazasında axtarış edilir.
2. Eyni zamanda və ya ardıcıl olaraq, seyrek axtarış (məsələn, xarici axtarış motoru vasitəsilə) həyata keçirilir.
3. Nəticələr, balların çəkili cəmilə birləşdirilir, burada sıx və seyrek hissələr üçün çəkilər tənzimlənə bilər.

Balların birləşdirilməsi üçün pseudokod nümunəsi:

final_score = alpha * dense_score + (1 - alpha) * sparse_score

burada alpha, hər axtarış növünün töhfəsini tənzimləyən koeffisiyentdir.

Bu yanaşma, həm semantik yaxınlığı (sıx), həm də açar sözlərin dəqiq uyğunluğunu (seyrek) nəzərə almağa imkan verir və nəticələrin uyğunluğunu artırır.