Что такое HNSWlib и где её используют?

HNSWlib — это библиотека для быстрого поиска ближайших соседей (Approximate Nearest Neighbor Search) в высокоразмерных векторных пространствах. Она реализует алгоритм Hierarchical Navigable Small World graphs (HNSW), который строит многослойный граф для эффективного поиска похожих объектов.

Основные применения HNSWlib:

• Поиск похожих изображений, аудио или текстов, представленных в виде векторов.
• Рекомендательные системы.
• Обработка естественного языка (например, поиск по эмбеддингам слов или предложений).

Пример использования на Python:

import hnswlib
import numpy as np

# Создаем индекс для 10000 векторов размерности 128
p = hnswlib.Index(space='l2', dim=128)
p.init_index(max_elements=10000, ef_construction=200, M=16)

# Добавляем данные
data = np.float32(np.random.random((10000, 128)))
p.add_items(data)

# Поиск 5 ближайших соседей для нового вектора
query = np.float32(np.random.random(128))
labels, distances = p.knn_query(query, k=5)
print(labels, distances)

HNSWlib ценится за высокую скорость и точность при поиске в больших наборах данных.