Что хотят услышать интервьюеры:

HNSWlib — это библиотека для быстрого поиска ближайших соседей в векторных пространствах. Её обычно используют, когда нужно эффективно искать похожие объекты среди миллионов эмбеддингов. Главное достоинство — очень быстрый поиск при хорошем качестве результата.

Определение:

HNSWlib реализует алгоритм HNSW (Hierarchical Navigable Small World) — графовый метод приближённого поиска ближайших соседей. Он строит многоуровневый граф, в котором верхние уровни позволяют быстро сузить область поиска, а нижний уровень уточняет ответ. Это даёт компромисс между скоростью, памятью и точностью, поэтому библиотека популярна для retrieval-задач в ML и AI.

Пример использования:

Например, в системе семантического поиска можно заранее получить эмбеддинги документов, сохранить их в HNSWlib и по эмбеддингу запроса быстро находить топ-N похожих документов.

import hnswlib
import numpy as np

dim = 128
num_elements = 10000

# Создаём индекс для cosine similarity
index = hnswlib.Index(space='cosine', dim=dim)
index.init_index(max_elements=num_elements, ef_construction=200, M=16)

# Добавляем вектора
data = np.random.randn(num_elements, dim).astype(np.float32)
labels = np.arange(num_elements)
index.add_items(data, labels)

# Настраиваем качество поиска
index.set_ef(50)

# Ищем ближайшие вектора
query = np.random.randn(1, dim).astype(np.float32)
ids, distances = index.knn_query(query, k=5)
print(ids, distances)

Пояснение кода:

Код показывает типичный сценарий работы с HNSWlib. Сначала создаётся индекс с выбранной метрикой расстояния и размерностью вектора. Затем индекс инициализируется с параметрами M и ef_construction, которые влияют на качество и стоимость построения. После этого в индекс добавляются вектора и их идентификаторы, затем параметр ef задаёт баланс между скоростью и точностью поиска. В конце выполняется запрос knn_query, который возвращает ids ближайших объектов и соответствующие расстояния.

Ключевые моменты:

HNSWlib подходит для approximate nearest neighbor search, когда важна скорость на больших объёмах векторов.
Основной сценарий — поиск по эмбеддингам: семантический поиск, рекомендательные системы, retrieval для RAG, дедупликация.
Алгоритм графовый и многоуровневый: это позволяет быстро находить кандидатов без полного перебора.
Есть компромисс между скоростью, точностью и потреблением памяти; параметры индекса сильно влияют на результат.
Библиотека хороша для offline/online retrieval, но не заменяет полноценную СУБД или векторную БД в задачах хранения, фильтрации и сложных транзакций.

Что такое HNSWlib и где её используют?