Что такое hybrid search в Qdrant и как объединять dense + sparse?

Hybrid search в Qdrant — это комбинированный поиск, который объединяет преимущества dense (плотных) векторных эмбеддингов и sparse (разреженных) текстовых представлений для улучшения качества поиска.

• Dense search основан на поиске по векторным эмбеддингам, полученным из моделей глубокого обучения (например, BERT), которые хорошо захватывают семантику.
• Sparse search использует классические методы, например, поиск по ключевым словам или TF-IDF, которые хорошо работают с точным совпадением терминов.

В Qdrant hybrid search реализуется путем объединения скорингов от dense и sparse компонентов. Обычно это делается так:

1. Для запроса вычисляется dense-вектор и выполняется поиск по векторной базе.
2. Параллельно или последовательно выполняется sparse-поиск (например, через внешний поисковый движок).
3. Результаты объединяются с помощью взвешенного суммирования скорингов, где можно настроить веса для dense и sparse частей.

Пример псевдокода объединения скорингов:

final_score = alpha * dense_score + (1 - alpha) * sparse_score

где alpha — коэффициент, регулирующий вклад каждого типа поиска.

Такой подход позволяет учитывать как семантическую близость (dense), так и точное совпадение ключевых слов (sparse), улучшая релевантность результатов.